Пребывание Иринея на посту Пензенского и Саратовского епископа ознаменовалось двумя важными его инициативами. Одна из них, правда, больше касалась Саратовской губернии и заключалась в разработке предложений, направленных на ослабление в губернии раскола. Эти предложения, предусматривающие ужесточение политики против раскольников, были приняты правительством и привели к ликвидации раскольнических иргизских монастырей. Другая инициатива касалась всей епархии, обнимающей обе губернии. Являясь прекрасным проповедником, Преосвященный, приехав в Пензу, сразу же отметил недостаток этой черты у местного духовенства, которое в своем служении Богу забывало о прихожанах — об их религиозном просвещении, делающим отношение к вопросам веры осмысленным. Поэтому 3 декабря 1827 года епископ своим распоряжением обязал священников после литургии разъяснять прихожанам азы Православия — Символ Веры, заповеди Божии, а также обучать их молитвам. Но усиление проповедничества не нашло понимания у гражданской власти. В Пензе епископ Ириней, как впоследствии и в Иркутске, лично наставлял прихожан истинной вере и заботился о просвещении инородцев. Объезжая епархию, высылал в Пензу безграмотных священников и заставлял их обучаться чтению, письму и правильному совершению богослужения... Его требовательность и строгость многим не нравились. Пошли разговоры о его строгости и чудачествах. Некоторые «смельчаки» дерзали даже публично посмеяться над преосвященным. Он, конечно, с достоинством отвечал таким «смельчакам», но нервная система его постепенно расшатывалась. В конечном итоге преосвященный стал раздражительным. Поэтому ничего нет удивительного, что через несколько лет, когда Ириней только что приехал в Иркутск, случайно присутствовавший при первом служении медик сказал, что у него разлита желчь, и он никогда не может быть спокоен. Сам владыка, уже будучи в монастыре, не раз говорил: «хотя имя мое, Ириней, значит мир, но я ни с кем не мог быть в мире».

Новый проповедник, да к тому же отстаивавший интересы своего ведомства, также пришелся не по вкусу пензенской администрации. Не понравилась излишняя требовательность Владыки и духовенству, на котором, в результате сокращения епархии вдвое в связи с отделением от нее 12 ноября 1828 года Саратовской епархии, он мог сосредоточить теперь более пристальное внимание. Тем более, что в 1829 году вышел указ Св. Синода о недопущении рукоположения в священники не окончивших полного курса духовной семинарии. До этого не редкостью было видеть среди иереев людей, не получивших даже элементарного школьного образования. Однако епископ Пензенский и Саранский Ириней, как он стал теперь называться, не успел претворить этот синодальный указ в жизнь.

Дело в том, что в 1830 году скончался иркутский архиепископ Михаил (Бурдуков), и срочно понадобился деятельный архиерей, могущий возглавить не просто управление обширной епархией, простирающейся от Ледовитого океана до Китая, а на восток — до Камчатки и даже дальше — до Северо-Американских островов, но и имеющий опыт миссионерской работы среди инородцев. Выбор пал на епископа Иринея, которого 26 июля 1830 года возвели в сан архиепископа Иркутского, Нерчинского и Якутского, выполняя тем самым волю Николая I избрать на это место «твердого и благонадежного» архиерея. Сразу же по приезде архиепископ Ириней принялся подтягивать духовенство; то он переведет провинившегося священника на дьячковскую должность, то пошлет месяца на три в монастырь топить печи. Такие действия преосвященного сразу встревожили всех. Не оставлял преосвященный в покое и местное светское общество, открыто обличая все пороки его. Он не мог найти общего языка и с генерал-губернатором города. Все это привело к тому, что на архиеп. Иринея посыпались жалобы обер-прокурору и в Св. Синод. Как показали дальнейшие события, твердости у архиепископа Иринея хватило с избытком — не только противостоять сибирскому генерал-губернатору, но и ослушаться самого императора, чем заставил самодержца усомниться и в его «благонадежности», и даже в здравости его рассудка.

Внешность архиепископа Иринея производила сильное впечатление. «Ему было около 45 лет, — описывал один из знавших его уже в Иркутске, — среднего роста, сложен очень правильно, не худощав и не расположен к толстоте; движения очень грациозные и выражали физическую силу и энергию; лицо мужественное, принадлежит к типу южных славян; густой брюнет, глаза большие, полные блеску, взгляд быстрый, проницательный, волосы черные, без седого волоса, густые, длинные, но крупно-волнистые, чем скрадывали большую длину; волосы казались тонкими и блестящими, борода черная, небольшая; голос самый чистый — грудной мягкий тенор. Владел интонацией голоса так гибко, так верно и так хорошо, что я другого такого послушного голоса не слыхал! Подражать владыке Иринею невозможно!»