В 1818 году для нового строительства и починки старых стен монастырь купил у города на слом обветшалые Ивановские ворота кремля. Из кирпича и бута разобранных Ивановских ворот и прилегающей кремлёвской стены была построена кирпичная монастырская ограда в стиле псевдоготики и ампира с четырьмя башнями и двумя воротами. Круглые кирпичные в три яруса башни, увенчанные каменными шпилями, были украшены белокаменными стрельчатыми арками, медальонами и звёздами. Примечательно, что ни одна башня в точности не повторяет другую. В настоящее время в большей части ограда сохранилась, вместе с ней и все четыре башни.
