В 1935 году научный работник музея Алехина, обследовав Толгский монастырь, писала: «Собор занят гидромеханической лабораторией, ранее находившейся в ведении Ярославского Средволгстроя, теперь переходящей в ведение НКВД. Внутри главного храма устроено перекрытие, делящее церковь на два этажа. У стены внизу храма проходят трубы с водой, которая подается специально поставленным насосом с двигателем в северные подклети храма (для чего были проломлены пол храма и стена фундамента). В центре устроен оцементированный лоток, который в скором времени наполнится водой. В подклетях под алтарем устроены вцементированные резервуары, также предназначенные для воды. В северной части главного храма, а также в северной части галерей поставлены специальные аппараты для научно-исследовательской работы. Фрески в этой части галерей закрашены. Южная галерея разделена на три части, где находятся: химическая лаборатория, кладовая и магазин. Фрески здесь поцарапаны, отбиты и частично закрашены».

Проведенные исследования грунта в Ярославле дали отрицательные результаты, и через четыре года строительство гидроэлектростанции было перенесено в Рыбинск.

Волгострой перебрался на новое место, но монастырь уже на долгие годы превратился в жилье для обычных горожан, не имевших по той или иной причине жилья. Занятыми под жилье оказались не только кельи, но и все крепостные башни. В части Никольского храма построили второй этаж. Жители приспосабливали неудобные для жилья помещения, прорубая новые окна и закладывая старые, а то и просто увеличивая их. Прорубали новые двери, срубали своды и карнизы.

Сразу после отъезда Волгостроя в 1936–37 годах в монастырь приехали новые хозяева — воспитатели и воспитанники школы ФЗУ Наркомюста, в последствии детской колонии НКВД. Ее разместили в здании монастырской гостиницы, в которой уже не было ни богадельни, ни школьного лагеря.

На рубеже 60-х годов рядом с монастырем развернулось строительство. Бывший его хозяйственный двор с постройками и гостиницей и большая луговина на левом берегу речки Толги были обнесены бетонной оградой и рядами колючей проволоки. Так началось создание исправительной колонии малолетних преступников.

Для персонала построили рядом каменный двухэтажный дом. Есть сведения, что на его фундамент брали каменные памятники с уничтоженного монастырского кладбища. Впоследствии там вырос поселок, куда переселялись из монастырских зданий работники колонии. Последние жители обители, жившие здесь десятки лет, были выселены в 1986 году.

Духовная жизнь монастыря замерла на долгие годы. Лишь 7 декабря 1987 года Святейшим Патриархом Московским и всея Руси Пименом и Святейшим Синодом на территории древнего монастыря была учреждена первая в современной России женская обитель.