У 1904 – 1907 рр. проведена реставрація братської могили воїнів московської армії. Під вагою хреста (маса близько 2 т) курган почав просідати, через це під основою хреста був побудований мурований склеп, де облаштована каплиця в ім’я св. Апостолів Петра і Павла. В ній було поміщено мармурові дошки із списками полків московської армії, які брали участь в Полтавській битві. Освячення храму відбулось 3 вересня 1907 року. Капличка мала вишукане оздоблення: мармуровий іконостас, срібні підсвічники, лампади, панікадила. Але в 1918 році каплицю було неодноразово пограбовано. У 1930-х роках у склепі братської могили було розміщено склад пально-мастильних матеріалів науково-дослідного інституту свинарства. В 1939 р. було проведено косметичний ремонт могили і склепу. В склепі на честь 230-річчя Полтавської битви влаштували невелику виставкову залу, де розмістили картини, пов’язані з Полтавською битвою, прапори. Через деякий час після закінчення ювілейних урочистостей склеп знову перетворили на бензосклад. До 300-річчя Полтавської битви у каплиці було проведено реставраційні роботи на кошти ТОВ ”ФАКТОР КАПІТАЛ”; замовник – управління капітального будівництва виконавчого комітету Полтавської міської ради.