В 1896 г. умер архивариус Витебского архива древних актов М. Л. Веревкин и Сапунов был назначен временно исполняющим его обязанности. На новом месте работы Алексей Парфенович мог полностью отдаться любимому делу. Перво-наперво он решил заняться ремонтом помещения архива и реставрацией хранящихся в нем древних актов, которые находились в плачевном состоянии.
До конца 1896 г. в архиве была отремонтирована и открыта канцелярия, а к весне 1897 г. – отреставрированы актовые книги, часть из которых были объединены под одним переплетом. Таким образом, если до Сапунова в архиве насчитывалось 1897 книг (некоторые из них состояли лишь из 2-3 листов), то после реставрации и упорядочения их осталось 1706.
Тогда же, в 1896 г., Императорская Санкт-Петербургская Академия наук предложила Сапунову написать рецензию на сочинение Ф. фон Кейслера «Окончание первоначального русского владычества в Прибалтийском крае в XIII столетии», которую тот подал на соискание Уваровской премии, ежегодно присуждавшейся авторам лучших работ по истории. В итоге награды был удостоен не только Кейслер, но и сам Сапунов. Это было уже серьезное признание его как историка. Сама же рецензия была напечатана в 1898 г. в виде отдельной брошюры.
Вместе с научным рос и общественный авторитет Алексея Парфеновича. Все в том же 1896 г. он был избран почетным мировым судьей по Витебскому уезду (впоследствии Сапунов будет регулярно избираться на эту должность вплоть до революции). Мировые судьи появились в Российской империи в ходе судебной реформы в 1864 г., они подразделялись на участковых и почетных, избирались каждые три года. В судебном разбирательстве почетный мировой судья участвовал в тех случаях, когда стороны сами обращались к его посредничеству (поэтому они редко были задействованы в рассмотрении уголовных дел).
Весной 1897 г. Сапунову, с головой погрузившемуся в работу архива, предложили занять должность помощника инспектора студентов Императорского Московского университета, что было значительным повышением по службе. Алексей Парфенович сразу же ухватился за этот шанс, открывший перед ним совершенно иные по сравнению с провинциальным Витебском научные перспективы. В Москве он не только выполнял свои прямые служебные обязанности, но и много работал в архивах, а также часто выступал с докладами. По собственному признанию историка, это было лучшее время в его жизни. Тем не менее осенью 1901 г. он все же вернулся в Витебск.