В Спасо-Прилуцком монастыре архиеп. Ириней вел жизнь не просто иноческую, но строго подвижническую. Писал много статей для духовных журналов и целые сочинения. Молчаливый, строгий, задумчивый, изможденный от постоянного поста, он казался живым мертвецом, но сохранял прежнюю приятную благородную осанку. Определением Св. Синода в 1837–1840 гг. к нему стали присылать раскольников для увещания.

Некоторое время правящим епископом в Вологде был Иннокентий (Борисов), который с любовью относился к ссыльному архиерею, а последний, в свою очередь, питал к преосвящ. Иннокентию чувство глубокой благодарности за его участливое внимание. Епископ Иннокентий был для преосвященного Иринея вестником радостного сообщения о разрешении священнослужения. Это известие преосвященный встретил с такой радостью, какую трудно передать словами. Он залился слезами и потом долго не мог успокоиться.

Теперь, когда преосвященному Иринею было разрешено архиерейское служение и выход из обители, он перезнакомился чуть ли не со всеми жителями Вологды, много помогал бедным. Народ любил и уважал его, считая его мучеником, безвинно пострадавшим от своих врагов, прозорливым и юродивым. Известие о переводе преосвященного на новое место жители встретили с грустью. 25 мая под колокольный звон всех городских церквей преосвященный прощался с Вологдой, заехал в храмы, находящиеся на пути его следования, а при выезде из города благословил его в последний раз.

7 апреля 1848 г. получил в управление Толгский монастырь Ярославской епархии. 27 мая 1848 года прибыл преосвященный Ириней в Толгскую обитель, которая произвела на него поражающее впечатление. «Толгская обитель — редкость», пишет он преосвященному Иннокентию. «Благоговение к Царице Небесной запечатлевает, кажется, каждый шаг; кажется, слышишь голос: «разуй сапоги». Эта величественная Волга, как будто для Сей Царицы катит свои волны; этот златый храм, как будто среди небес для Нея воздвигнут; эти огромные кедры, увенчанные царственными коронами, как будто Ея царственную возвещают славу, как будто от ея имени проповедуют: Бога бойтеся, Царя чтите».

Толгская обитель была благоустроена и украшена скончавшимся за 4 года перед прибытием преосвященного Иринея настоятелем архиепископом Авраамом, так что преосвященному Иринею не пришлось много заботиться об устроении обители. Впрочем, и в этом отношении он не мало сделал для монастыря.

Особое попечение его было обращено на чудотворный образ Богоматери. Для ношения его в крестных ходах в 1856 году устроен Владыкою большой серебряный киот, весом в три пуда, лучшей московской работы. Им же устроены для иконы Богоматери и копий с неё четыре ризы, из которых одна весьма высокой ценности, низанная жемчугом, украшена драгоценными камнями, в числе которых находящиеся в лучах венца Богоматери аметисты приложены им самим из имевшихся у него четок. Не мало забот приложены преосв. Иринеем для улучшения ризницы. Им устроены лучшие соборные священнические и диаконские облачения, а так же богатые облачения для архиерейского служения. Им же куплен в Ярославле каменный двухэтажный дом, прилегающий к монастырскому подворью.

Но главные труды архиепископа Иринея по управлению его Толгским монастырем состояли в другом. За 4 года от смерти архиепископа Авраама до прибытия преосвященного Иринея настоятелем Толгской обители был ректор Петербургской семинарии архимандрит Феогност. Он всё время жил в Петербурге, и при отсутствии непосредственного надзора монастырская дисциплина заметно упала. Богослужение совершалось не строго по уставу, в чтении положенных кафизм и канонов делались пропуски и самое чтение было торопливое и невыразительное; правила монашеской жизни соблюдались не строго. Вот на эти недостатки преосвященный Ириней и обратил внимание. Он стал посещать все совершаемые в обители богослужения, сам читал кафизмы и канон, и своим чтением давал пример неукоснительного и точного исполнения церковного устава. Жизнь монастырской братии была строго распределена и преосвященный настоятель своей подвижническою жизнью являл пример строгого исполнения иноческого устава. Вообще, учить и наставлять — было главной задачей преосвященного Иринея. Когда Ярославские архипастыри были вызываемы в Петербург для присутствования в Святейшем Синоде, то преосвященному Иринею поручалось совершение рукоположения ставленников в священные степени. Ставленников он заставлял жить в монастыре и за время пребывания их здесь, заставлял их изучать тексты из Священного Писания. По несколько раз в день должны были они являться в келии преосвященного. Он выходил, прочитывал какой-нибудь текст из Священного Писания и заставлял их повторять его до тех пор, пока все не запомнят его. Тогда он делал изъяснение данного текста и выводил из него нравоучение.

Прирожденные черты характера и теперь иногда сказывались в преосвященном Иринее. Он был по-прежнему строг и нелицеприятен в своих обличениях. Если он замечал разговаривающих в церкви, то во всеуслышание обличал виновных, не обращая внимание на их общественное положение. Это, конечно, нравилось не всем. Но простой народ любил преосвященного за его подвижническую жизнь, за его нравоучительные беседы, за его проницательные мудрые советы по вопросам духовной жизни, за которыми к нему обращался каждый желающий. Среди современников преосвященный Ириней почитался за прозорливца. Главное же внимание Преосвященного было обращено на жизнь братии, соответствующую иноческому званию. Строго и неизменно исполняя все правила иноческой жизни, архиепископ не отличался от простого инока. Пост и молитву он выполнял наравне со всеми другими братиями и большую часть своих доходов распределял на милостыню бедным и вспомоществованием своим родственникам. Келейная жизнь иноков не оставлена была без внимания; на всё были установлены правила и изданы инструкции. Строго были преследуемы нетрезвость, сварливость и другие пороки. Иноки и послушники являлись к нему после каждого Богослужения.

Года за два до своей смерти он устроил себе дубовый гроб и могилу возле Спасской церкви. Рассказывают, что когда могила была готова, он пришел посмотреть её и, при виде этого последнего пристанища каждого человека, вспомнил всю свою прежнюю жизнь.

Тихо скончался 18 мая 1864 года в возрасте 81 года и был погребен архиепископом Ярославским Нилом при громадном стечении народа.