Несмотря на то, что Санкт-Петербургским учебным округом ему было дано свидетельство о праве преподавать историю, на протяжении практически всей своей 25-летней работы в гимназии Сапунову пришлось преподавать русский, греческий и латинский языки. Лишь изредка ему удавалось проводить занятия по истории. Морального удовлетворения такая работа не приносила, однако родную гимназию Сапунов искренне любил. Позднее, в 1884 г., из-под его пера вышла работа «Историческая записка 75-летия Витебской гимназии (1808–1883)», написанная им с большой теплотой.
Приблизительно через год после начала работы в гимназии Алексей Парфенович женился на Юлии Садокиевне Волкович, дочери бывшего городского головы Садокия Григорьевича Волковича, умершего в середине 1860-х гг. Впоследствии теща Сапунова, Варвара Павловна, оказала ему значительную финансовую помощь в издании трудов. Что же касается брака, то он не сложился. По воспоминаниям некоторых современников (А. Я. Бодренок), отношения между супругами с самого начала были прохладными. В итоге в 1918 г. они официально развелись.
За это время работы в гимназии заслуги Сапунова были отмечены государственными наградами: орденами св. Станислава 3-й и 2-й степени (1878, 1887 гг.), св. Анны 3-й и 2-й степени (1882, 1893 гг.), св. Владимира 4-й степени (1900 г.). Кроме того, к 1886 г. Сапунов дослужился до гражданского чина статского советника и по Табели о рангах занимал место между полковником и генерал-майором. Позднее, в 1911 г., ему был присвоен уже «генеральский» чин действительного статского советника, дававший право на потомственное дворянство. В марте 1911 г. внук крепостного крестьянина Алексей Сапунов решением Сената получил потомственное дворянство с правом внесения фамилии в третью часть родословной книги Витебской губернии.
Параллельно с преподавательской деятельностью Алексей Парфенович всерьез увлекся историей белорусских земель и в частности Витебщины. Спустя годы, уже обретя известность в научных кругах, он вспоминал, что ни в гимназии, ни позднее в университете так и не получил знаний об истории родного края. Преподаватели практически ничего не рассказывали про Беларусь, «будто ее и на свете не было». Постигать тайны белорусской истории ему пришлось самостоятельно.
При этом всерьез изучать историю Сапунов стал по воле случая. Однажды один из его коллег по гимназии принес старинный документ, который Алексей Парфенович, к своему стыду, не смог прочесть. Он твердо решил заняться самообразованием и обратился к изучению непосредственных первоисточников. С этого момента Сапунов начал скрупулезно собирать документы по истории Витебщины.