Любовь к занятиям науками у преосвященного Августина была преобладающей склонностью. В первое же время по приезде в Оренбургскую епархию он занялся составлением «Хрестоматии из латинских писателей» и выбрал множество примеров «для руководства в стилистике», главным образом, имея в виду духовенство епархиальное и его подрастающее поколение. Этот труд, как и большая часть творений его, остался в рукописи, вместе с такой же «Хрестоматией для церковного красноречия», составленной из творений отцов церкви за первые восемь веков ее существования. Последний труд занимал досуги Августина в течение 10 лет (1808–1818). Кроме того, он составил «Записки к начертанию руководства для упражнения в словесных науках», 10 частей. Два года (1810–1812) занимался он сочинением «Начертания церковной истории от создания мира до настоящих времён», в чём оказывался всеми сознаваемый тогда пробел среди академических учебников, восполненный Иннокентием (Смирновым).

С 1818 года по предложению Священного Синода, Августин занялся составлением «Систематического сборника русских церковных законов и постановлений», в чём чувствовалась ещё большая надобность. Для выполнения этого колоссального труда преосвященный просил и получил в 1819 году увольнение от управления епархией, со скудной пенсией в 1000 рублей ассигнациями. В феврале 1822 года, по ходатайству Синода, ему было прибавлено ещё 1000 рублей. Для пребывания Августину на покое назначен Варницкий монастырь под Ростовом, где он на свои средства построил деревянный дом. Отсюда, для работ по составлению собрания церковных законов, преосвященный ездил в Ярославль. С 1832 по 1836 год преосвященный особенно упорно отдавался своему труду. Кроме русских постановлений за синодальное время, Августин составил хронологический реестр 2053 церковных правил и духовных законов, находящихся в Кормчей книге. В 1837 году он представил императору Николаю I составленное им в 15 томах «Полное собрание духовных законов» и план предпринятого им труда — составления систематического «Свода церковных законов». По Высочайшему повелению сборник этот был рассмотрен в Синоде митрополитом Филаретом (Дроздовым), который указал в нём на многие недостатки, но вместе с тем признал весьма значительным «для одного человека, не подкреплённого пособиями от начальства» и достойным уважения по стремлению его к общей пользе. Вследствие этого отзыва Священный Синод, оставив сборник Августина в синодальном архиве для могущих быть справок, испросил Августину — за понесённые им труды и похвальное усердие на пользу церкви, а также и в уважение того, что дело это требовало издержек, ощутительных в настоящем положении преосвященного, — прибавку к получаемому им пенсиону еще по тысяче рублей. По мнению Г. Флоровского, издавать полное собрание церковных законов нашли несвоевременным, ввиду «неблаговидности» слишком многих постановлений Петровского времени и всего предыдущего века, огласка которых была теперь не желательна.

Кроме составления «Полного систематического свода духовных законов православной греко-российской Христовой церкви» в 6-ти томах, оставшегося в рукописи, Августина в уединении занимали и учёные труды. В рукописях у его брата находились в 1844 году составленные Августином: 1) «Библейский словарь», 2) «История новозаветной Христовой церкви» в 6 частях, 3) «Начертание православной греко-российской Христовой церкви», 4) 73 беседы на Деяния апостольские, изложенные по примеру беседы св. Иоанна Златоустого на те же «Деяния», и 5) «Боголюбивые беседы на Моисеево пятикнижие», перевод с греческого в 5 частях. Кроме 30 проповедей его, напечатаны: «Письма к разным лицам», в 1795 году — лирическое творение «Евергет» в десяти строчных строфах, а в 1797 году переведённое с греческого по назначению митрополита Гавриила — «Рассуждение о владычестве человеческого разума над страстями, утверждённого в благочестии». Для себя Августин вёл «Записки подневные».

После кончины Августина, по завещанию, его большая библиотека была передана в Ярославскую и Уфимскую семинарии и Санкт-Петербургскую духовную академию, а небогатое имение — бедным родственникам.