Ena part superiora deth tucò deth poi de Sant Andreu, ena antica zòna sagrada, se bastic en epòca carolingiana un castèth que se'n consèrven rèstes dera muralha e des bases des quate tors cantoères. Aguest castèth medievau ère de petites dimensions, de planta trapezoïdau, e auie dus varats entà assolidar era defensa. Ère nomentat Castellum Vellosos, d'acòrd damb era escassa documentacion catalana que se consèrve deth sègle IX e principis deth sègle X (apareish citat per Loís eth Pietós, en an 834), e ei ua des construccions militares mès antiques der Empordan.
Era construccion deth castèth medievau en aguest espaci cau restacar-la damb era sua posicion estrategica e elevada, que permetie contrarotlar ua grana estenuda de territòri. En costat meridionau deth castèth, s'a conservat era nomentada tor carolingiana, que se bastic sus ua tor circulara iberica precedenta, e d’a on ei possible contemplar ua extensa panoramica deth territòri der entorn.
En sègle XV, sus es rèstes deth castèth abandonat se bastic eth santuari de Sant Andreu de l'Estany. Era nau d'aguesta capèla ei utilizada aué en dia coma part dera estructura arquitectonica deth musèu monografic.
