En voyant Ste-Anne et sa façade en dentelle de briques (33 sortes différentes), Napoléon aurait voulu la transporter en France au creux de sa main. Cette église de poche, dont les courbes s'élèvent vers le ciel, est considérée comme le chef-d'oeuvre de l'art gothique lituanien. En poussant les portes ouvragées de l'église, on découvre l'intérieur sobre, souvent endommagé par des incendies et des pillages (par les soldats de Napoléon). Toutes les courbes (voûtes, colonnes) qui modèlent les murs blancs sont reprises sur les vitraux colorés.