Прибыл архиепископ Ириней в Иркутск 17 октября 1830 года, а уже в июле следующего года последовал императорский указ о лишении его архиерейства и ссылки в Спасо-Прилуцкий монастырь Вологодской епархии под бдительный надзор настоятеля монастыря и местного архиерея. Что же явилось причиной столь быстрой его отставки? Именно то его качество, которое стало решающим при выборе его кандидатуры — твердость. Люди, обладающие этим качеством, как правило, являются последовательными в своих поступках и не очень склонны к компромиссам, в особенности там, где затрагиваются интересы дела, которому они решили посвятить всю свою жизнь. Однако случилось непредвиденное — иркутский архиерей не поверил в подлинность указа Святейшего Синода об отрешении его от управления епархией и отказался ему подчиниться. Более того, он велел препроводить на гауптвахту чиновника, прибывшего, чтобы доставить его в Вологду. Подозревая, и не без основания, что причиной его отставки являются происки недоброжелателей, архиепископ Ириней, в опасении за свою жизнь, обратился к народу и духовенству за поддержкой, чем произвел в них определенное смятение. В общем, налицо был если и не бунт, то во всяком случае действия, подлежащие строгому наказанию, поскольку отказ исполнить повеление Его Императорского Величества, спустя всего лишь пять лет после восстания декабристов, невольно вызывал нежелательные ассоциации. Поэтому и не случайной была реакция Николая I, потребовавшего тщательного расследования данного поступка архиерея.

И как сообщал синодальный прокурор Святейшему Синоду, «ежели посему исследованию окажется, что поступок сей не в помешательстве ума, то, по мнению Его Величества, важность преступления заслуживает, чтобы виновный был лишен архиерейского сана и сослан в Соловецкий монастырь; но, впрочем, Его Величество предоставляет судить о сем Св. Синоду в свое время, (составить) постановление, на церковных законах основанное, и поднесть оное к Высочайшему утверждению».

26 ноября 1831 года архиепископ Ириней был отправлен из Иркутска под конвоем подполковника корпуса жандармов Брянчанинова и 18 декабря доставлен в Спасо-Прилуцкий монастырь Вологодской епархии. На следующий день в архиерейском доме с него был снят допрос и проведено медицинское обследование, которое показало полную вменяемость подследственного. Святейшему Синоду было сообщено, что «ни по разговорам, ни по телодвижениям, ни по другим действиям никакого расстройства умственных способностей не замечается, равным образом и признаков бывшего расстройства сего рода при настоящем наблюдении не усмотрено».

Согласно синодальному указу за ним был учрежден настоятелем монастыря постоянный надзор с обязанностью ежеквартально докладывать о его поведении в Синод. Естественно, что и братия монастыря, при такой официальной установке, стала чураться поступившего в монастырь пленника. Даже келью ему, в нарушение предписания Синода выделить для жительства пристойные комнаты, отвели сырую — словно хотели подстраховаться, будучи не в состоянии ответить на вопрос: что же считать пристойным для запрещенного в служении, лишенного своей кафедры, опального архиерея. Так что первым приобретением архиепископа в нелюбезно встретившем его монастыре стала простуда и, как следствие, ревматизм, не отпускавший его до последних дней. Одинокий, больной, удрученный свершившейся несправедливостью, лишенный подобающего его сану отношения, вел архиепископ в первые годы уединенную жизнь затворника, отказываясь от встреч с кем бы то ни было. Неизвестно, сколько продлилась бы это состояние, не пошли ему Господь человека, внешне еще более униженного, чем Ириней. Это был известный в Вологде юродивый Николай Матвеевич Рынин — высокой внутренней силы человек из купеческого звания, раздавший все свое имущество и наложивший на себя тяжкий подвиг юродства во Христе, за что ему был дан великий дар прозорливости. Он велел архиепископу забыть обиду и обратить свое лицо вновь к людям, нуждавшимся в его архипастырском слове. И хотя после этого Ириней и стал общаться с разными людьми, приходящими в монастырь, но душа его все же рвалась на волю: там и только там, в качестве управляющего какой-нибудь епархией, видел он возможность реализации всех своих способностей. И вновь Промысел Божий словами юродивого осадил его стремления, сказав ему: «Тпру, архиерей, монастырь, монастырь!». Митрополит же Новгородский и Санкт-петербургский Серафим (Глаголевский) в 1836 году выразил сочувствие архиепископу Иринею такими многомудрыми словами: «Вы в скорби Вашей прибегли к Господу, Который есть Бог терпения и Бог утешения, помня при том сие слово Его: узкая врата и тесный путь вводят в живот. Вас же Сам Он поставил на спасительный путь сей: Сам Он идет им впереди Вас, неся Крест Свой; идите и Вы по следам Его, как верный слуга Его, да тако будете с Ним вечно и увидите славу Его».

Вскоре Синод разрешил направлять к нему раскольников для их увещевания. А следом допустили и к священнослужению, разрешили выезжать из монастыря. Видя изменение отношения к нему в высших сферах, и монастырские к нему заметно потеплели, в ответ и архиепископ стал активнее участвовать в жизни монастыря. Стал тратить назначенную ему пенсию всецело на дела благотворительности.