Monumentet på gravarna för de dödade ryska soldaterna i Poltavafältslaget invigdes den 27:e juni 1895. Det tunga granitkorset började dock sjunka. 1906 togs ett beslut om att öppna gravarna, förstärka grunden till minnesmonumentet och bygga ett inre kapell med ett sfäriskt gravvalv. Det byggdes efter ritningar av arkitekt Nosov och under byggandet togs några foton av den öppna graven. Senare har dessa fotografier återfunnits vid Krigsarkivet i Stockholm. Gravkapellet hade ett litet fönster och ingången vände mot norr. Det fanns några marmorskyltar prydda med fanor och lagerblad samt förteckning över de ryska regementen som deltog i slaget. Innerväggarna och gravvalvet målades av konstnären Sokol. Gravkapellet, tillägnat S:t Petrus och Paulus, helgades den 3:e september 1907. På 1930-talet inrättades en svinuppfödningsinstitut i närheten av gravarna. Strax efteråt omvandlades gravkapellet till drivmedels- och kemikalielager. Detta förorsakade förstörelse av ventilationssystemet och väggmålningarna. Väggarna började att ta upp fukt och upplösas. Efter 2:a världskriget har gravkapellet reparerats flera gånger, men den unika interiören är förlorad för alltid. Senare har kyrkan blivit en vanlig begravningshall vars enda dekoration var gravstenar. Kapellet är nu i så dåligt skick, att det är stängt för besökare.