XIX a. carinės Rusijos armijos kareivinių rajone, dabartinio Vilijos parko centre (prie Juozapavičiaus pr.), buvo pastatyta medinė cerkvė Kauno tvirtovės įgulos reikmėms. Tai buvo 109-ojo Volgos pėstininkų pulko Dievo Motinos Globėjos cerkvė, pastatyta 1896 m. Ji buvo kryžiaus formos su pagrindiniu kupolu, apsuptu keturių nedidelių bokštų. Viso statinio tiek išorė, tiek ir vidus buvo papuoštas rusiško stiliaus raižiniais ir dažytas aliejiniais dažais. Turėjo gana masyvų dviejų aukštų ikonostasą su raižiniais, kolonomis ir karnizais, su piešiniais ant paauksuoto fono. Statybas palaimino pats imperatorius Aleksandras III. Atkūrus Nepriklausomybę, apie 1920 m., pertvarkyta į Lietuvos kariuomenės Šančių įgulos karių katalikų bažnyčią, jai suteiktas Šv. Kryžiaus Išaukštinimo bažnyčios vardas. Apie 1950 metus bažnyčia buvo sunaikinta.