Крестовоздвиженский собор возведён по проекту архитектора А.С. Кутепова в 1852 – 1855 гг. Величественный алый собор с пятью шатровыми главами, облицованный белокаменной резьбой, стал украшением не только монастыря, но и всего Коломенского кремля. На внутреннюю отделку собора пожертвовал 30 тыс. рублей знаменитый меценат Московской губернии Яков Яковлевич Ермаков, дочь которого Феодосия (в постриге Феофания) находилась в монастыре. 30 июля 1858 года освящены придельные алтари собора в честь Казанской иконы Божией Матери и святого Иоанна Златоуста, а 13 сентября 1858 года, накануне престольного праздника, викарием Московским Высокопреосвященным Евгением освящён центральный Крестовоздвиженский алтарь собора.
В советское время собор был осквернён, в нём устроили овощехранилище. Только летом 2005 года здесь начались реставрационные работы. В преддверии Дня Славянской письменности и культуры, столицей которого в 2007 году стала Коломна, в Брусенском монастыре были проведены работы по воссозданию шатрового завершения и реставрации фасадов Крестовоздвиженского собора. И, хотя все реставрационные работы ещё не закончены, собор опять стал украшением исторической части Коломны.