На початку 70-х років XVIII ст. тут (в районі сучасної вулиці Полтавської) була виділена ділянка землі для православного кладовища зі своїм дерев'яним храмом в ім'я Святих первоверховних апостолів Петра і Павла, який був побудований не пізніше 1774 року.
Як про це повідомляє академік І. А. Гільденштедт, який подорожував Єлисаветградської провінцією в 1774 році і який відвідав Єлисаветград 6-11 липня: «... Сажень на 100 вище ретраншемента, на східній стороні Інгулу лежить слобода Ковалівка, в якій нараховується близько 50 будинків, а майже на милю на північний схід від нього - кладовище (Петропавлівське), на якому буде побудована тепер і церква (в ім'я ап. Петра і Павла); воно знаходиться на височині, поблизу яру Кринична балка, в якому також є близько 50 будинків. На кладовищі лежать два надгробних камені з місцевої білуватоі, полевошпатного породи і мають близько сажні довжини і фути по два ширини і товщини; зверху висічені хрести і дуже нерозбірливі написи по-російськи. Вони відносяться до 1772 році і покладені в пам'ять майора Гессе, який займав тут місце коменданта, і в пам'ять родича його ... »
В кінці ХVIII ст. на Петропавлівському кладовищі, саме недалеко від цього храму, оселився Христа ради юродивий старець Данило (нині прославлений у лику святих), вирившій на кладовищі землянку і проводив в ній свої молитовні подвиги. А після своєї блаженної кончини і похований біля неї.
У 1805 році на місці першого, на той час уже непридатного для богослужінь, дерев'яного храму, з ініціативи соборного причту і купця Микити Проніна, був побудований новий Петропавлівський храм.
До 1850 року Петропавлівський храм був «приписаний» до Собору, з цього ж року відділений і отримав самостійність. А ще через 12 років старанням купця 3-й гільдії Герасима Романченко недалеко від старого дерев'яного храму був закладений новий кам'яний трьохпрестольний храм. Будівництво його завершилося в 1870 році, вже після смерті Романченко. Освячено храм був в ім'я первоверховних апостолів Петра і Павла.
Що стосується дерев'яного будинку Петропавлівського храму, то після освячення кам'яного воно було розібрано і в 1870 році перенесено на Кущівка, православні жителі якої (до них так само приєдналися і жителі Завадівки) на прохання настоятеля Єлисаветградського Собору протоієрея Феодосія Бершацьке отримали дозвіл на будівництво храму в своєму районі. Оскільки матеріалу, що залишився від старого цвинтарного Петропавлівського храму не вистачало, городяни Фалалєєв, Журавський і Семенченко докупили ліс і спорудили новий храм, освячений в 1877 році на честь Вознесіння Господнього.
В огорожі кам'яної Петропавлівської церкви було кладовище, на якому ховали духовенство, а також відомих жителів міста, серед яких можна згадати такі прізвища, як Григорович, Пашутін, Тарковський, Ельворті і багато інших.
У 20-ті роки ХХ ст., Коли Православну Церкву роздирав «оновлений» розкол, Петропавлівський храм (на чолі з настоятелем протоієреєм Миколою Виноградовим) став оплотом канонічного Православ'я, який дав притулок під свої склепіння всіх вірних міських пастирів з їх парафіяльними громадами.
Але 15 січня 1930 в результаті спецоперації ГПУ щодо арешту канонічного духовенства все священнослужителі Петропавлівської церкви були арештовані, поміщені у в'язницю, а в грудні 1930 р засуджені. Храм на певний час був переданий обновленцам, а потім і зовсім був закритий. А в середині 30-х р Петропавлівська церква була зруйнована.
