La première pierre de la cathédrale Saint-Alexis, de style éclectique et néorusse, a été bénite en 1909 et l'église a été consacrée en 1912. Elle servait alors d'église de garnison. Elle a été fermée par les autorités soviétiques pendant les années 1920, la coupole décorée de kokochniks (arc-diadème, corbeau ou encorbellement) a été démolie ainsi que le clocher.