Miejsce, na którym wznosi się Skarbczyk związane jest ściśle z
początkami Jarocina. To tutaj w drugiej połowie XIII wieku
stanęła siedziba pierwszych właścicieli miasta – Zarembów. Była
to drewniana, dwukondygnacyjna wieża mieszkalno-obronna o
wymiarach 7 x 7 metrów, wzniesiona prawdopodobnie w latach
1260 – 1270. Budowla spłonęła na przełomie XIV i XV wieku,
podczas wojny Grzymalitów z Nałęczami. Wydobyte w
trakcie badań wykopaliskowych liczne przedmioty związane z tą
budowlą eksponowane są na wystawie stałej w muzeum.