Был произведен в губернские секретари и направлен в Псковское наместничество в 1781 году. В Пскове он прослужил, продвигаясь по служебной лестнице, семнадцать лет. Будучи человеком пытливым и любознательным, он не смог не увлечься городом, в который его занесла судьба.
Получив возможность знакомиться с историческими документами, Ильинский кропотливо собирает сведения, касающиеся псковской истории. Он изучает рукописные и печатные материалы, сверяя их с летописями, сочинениями В.Н. Татищева, Ф.И. фон Страленберга, М.М. Щербатова, И.Н. Болтина, А.П. Сумарокова, Екатерины II и др. авт.
При Александре I состоял в комиссии для составления законов и юрисконсультом министерства юстиции.
Ильинский любил занятия литературой. Писание стихов обратило на него внимание Державина. Сам Ильинский, впрочем, свои стихи называл глупыми. Основные мотивы писаний Ильинского - патриотизм и религиозное смирение, характерные и для его "Записок" ("Русский Архив", 1879, декабрь; с предисловием и примечаниями А.О. Круглого), касающихся главным образом царствования Павла I . Этими "Записками" пользовался М.А. Корф для своего труда "Жизнь графа Сперанского".
Другие сочинения Ильинского: "Историческое описание города Пскова и его древних пригородов и пр." (СПб., 1790 - 1795, 6 частей); "В память славному мужу нижегородскому купцу Козьме Минину" - стихотворение, которое Ильинский поднес при весьма характерном прошении Екатерине II , в котором просил о постановке памятника знаменитому патриоту; "Описание жизни и пр. купца Козьмы Минина" (СПб., 1799), "Житие Франца Яковлевича Лефорта и описание жизни нижегородского купца Козьмы Минина" (СПб., 1799; первая часть принадлежит И. Виноградову ); "Мысль о человеке", с стихотворным посвящением М.А. Ладыженскому; "Изображение человека", в стихах (СПб., без года). Ильинскому, по-видимому, принадлежат и стихи: "На взятие Очакова" (СПб., 1790) и "Разные стихотворения", сочиненные Николаем Степановичем во Пскове.
