В сквере, примыкающем к улице Советской, находится один из самых значительных сохранившихся памятников культового зодчества - храм во имя святых апостолов Петра и Павла. Расположен на месте обветшалой деревянной греческой церкви, разрушенной в 1837 году во время бури. Проект разработал инженер-подпоручик морской строительной части В.А. Рулёв. Строительство продолжалось 1839-го по 1844 год.

Адмирал М.П. Лазарев пожелал соорудить на Городском холме монументальный храм в древнегреческих традициях, поэтому при разработке проекта В.А. Рулёв использовал приёмы античного зодчества. В Крыму это единственный памятник подобного рода.

Как и подобает античному храму, стоит он на приподнятой над землей площадке - крепидоме. По периметру здания находятся 44 каннелюрованые колонны дорического ордера из сарматского известняка. На восточном фронтоне помещен скульптурный рельеф - Всевидящее око. Главный и западный фасады завершены треугольными фронтонами, которые венчают кресты. У входа в храм установили мраморные статуи в натуральную величину апостолов Петра и Павла, копии работ скульптора Торвальдсена, созданные им для города Каррары. Статуи для севастопольского храма выполнил итальянский мастер Фердинанд Пеличчио.