Помимо сбора исторических документов, Сапунова интересовали и археологические артефакты. Еще в 1868 г. при Витебском губернском статистическом комитет, членом которого Алексей Парфенович стал в 1882 г., был организован музей древностей. Одним из направлений деятельности комитета был сбор данных для составления археологической карты региона. Новое поле для деятельности сразу захватило ученого. На этом поприще он близко сошелся еще с одним первооткрывателем белорусской истории – известным археологом и этнографом Е. Р. Романовым, который в то время занимал должность инспектора народных училищ в Витебской губернии. К слову, именно Романов руководил раскопками курганов в приобретенном Сапуновым в конце 1880-х гг. имении Каховка, которое располагалось в 11 верстах от Витебска.
В 1890 г. Сапунов издал брошюру «Двинские или Борисовы камни». Он не только отыскал несколько ранее неизвестных Борисовых камней, но и первым из историков систематизировал данные об этих уникальных памятниках истории, а также зарисовал их, внеся существенный вклад в развитие отечественной эпиграфики.
В качестве официального делегата от Витебского губернского статистического комитета Алексей Парфенович в 1893 г. принял участие в проходившем в Вильно IX археологическом съезде, организованном Императорским московским археологическим обществом. Его членом-корреспондентом он стал еще в 1891 г. Кроме того, в разное время витебский историк избирался членом-соревнователем Императорского общества истории и древностей Российских при Императорском Московском университете (1885 г.), действительным членом Исторического общества при Императорском Санкт-Петербургском университете (1890 г.), действительным членом Императорского Русского географического общества (1893 г.), членом-сотрудником Императорского Русского археологического общества (1894 г.).
Тут стоит отметить, что членом географического общества Сапунов стал после того, как в 1893 г. была издана одна из самых серьезных его работ, которая принесла историку уже международную славу, – монография «Река Западная Двина. Историко-географический обзор». Можно сказать, что в ней он, предвосхищая постмодернистскую историографию, отнес Западную Двину к числу исторических артефактов.
В 1894 г. в Витебске по инициативе Е. Р. Романова и при непосредственном участии Сапунова было открыто Церковно-археологическое древлехранилище (Витебский церковно-археологический музей), просуществовавшее до 1919 г. Среди прочего здесь хранились признанные ценными предметы церковной утвари, древние облачения и книги, различные произведения искусства, документы Полоцкой епархии и др. В 1905 г. в музее имелось 1247 экспонатов. Вслед за Витебском аналогичные древлехранилища были основаны и в других городах.