Плоды этой деятельности не заставили себя ждать. Первая серьезная работа Сапунова – «Исторические сведения о витебском замке» – была опубликована в «Памятной книге Витебской губернии на 1881 год» (1880 г.). Однако он уже задумывался об издании сборника документов по истории Витебска, который увидел свет в 1883 г. Это был первый том знаменитой «Витебской старины». Книга состояла из 12 тематических разделов, последний из которых, «Историко-статистический очерк г. Витебска», Алексей Парфенович написал «по долгу службы» – в 1882 г. его избрали действительным членом Витебского губернского статистического комитета.
Помимо огромного количества ранее не опубликованных источников, на страницах первого тома «Витебской старины» можно было увидеть множество иллюстраций – факсимиле отдельных документов, печати, гравюры, планы, карты и т. д. Публикация такого издания стоила больших денег, и тут как нельзя кстати пришлась финансовая поддержка тещи. Примечательно, что Сапунов пообещал читателям со временем издать «более обстоятельную историю Витебска». В 1920-х гг. он действительно подготовил к печати рукопись этой работы, однако опубликовать ее уже не смог.
Нужно сказать, что первый том «Витебской старины» имел оглушительный успех. Свидетельством тому стали отклики на него, размещенные в крупнейших газетах и журналах Российской империи, а также тот факт, что Министерство народного просвещения рекомендовало книгу для приобретения в библиотеки средних учебных заведений Виленского и Варшавского учебных округов. Уже одной только этой работой Сапунов заполнил существенный пробел в изучении истории Витебщины. Еще одним важным следствием выхода из печати «Витебской старины» стало более приязненное отношение к автору со стороны властей. Так, по распоряжению попечителя Виленского учебного округа Н. А. Сергиевского были выделены деньги на издание двух следующих томов.
На тот момент Алексей Парфенович уже составил для себя план будущих публикаций «Витебской старины»: во второй том должны были войти материалы по истории Полоцка, в третий – Велижа, Невеля (ныне города Смоленской и Псковской областей Российской Федерации соответственно), Динабурга (сейчас – латвийский город Даугавпилс) и других городов Витебской губернии, в четвертый – по истории войн Московского государства с Великим Княжеством Литовским и Речью Посполитой в XVI–XVII вв., в пятый – по истории ликвидации церковной унии в 1839 г., в шестой – обобщающая работа самого Сапунова по истории Витебской губернии, а также дополнения и указатели для предыдущих томов.
Однако в силу обстоятельств в эти планы впоследствии были внесены серьезные коррективы, касавшиеся не только непосредственного содержания томов, но и их нумерации. Так, следующим был издан «военный» четвертый том (1885 г.), вероятно, единственный, полностью соответствовавший всем изначальным намерениям историка. Далее, в 1889 г., был издан (правда, лишь первая его часть) и пятый том «Витебской старины», посвященный религиозной истории края. К сожалению, несмотря на то, что Сапунов активно работал над подготовкой второго и третьего томов сборника, пятый стал последним – сказались загруженность на службе, работа над другими книгами и ухудшающееся здоровье. Тем не менее, несмотря на определенные недостатки (ошибки в текстах, отсутствие оригиналов документов и т. д.), археографические труды Сапунова были по достоинству оценены не только современниками, но и учеными более позднего времени. В частности, такой выдающийся белорусский историк, как Н. Н. Улащик назвал «Витебскую старину» своего рода «справочником по истории северной Беларуси».