La primera referencia es del año 1366, en un documento de venta que Bernat de So hace a Ponç de Descatllar de la bailía y castellanía de Llívia. No obstante, es conocido que la torre se construye en 1584-1585 en un contexto de rivalidad con Puigcerdà por la recolleta; rivalidad que ya venía de lejos.

A pesar de la crisis económica y social que padece Llívia después de la destrucción del castillo, la villa irá prosperando: se redacta el Llibre Ferrat, con todos los privilegios, y en el año 1528 Carlos I le otorga el título de “Villa”, por cuyo motivo Llívia permanecerá española después del Tratado de los Pirineos y el Tratado de Llívia. Entre 1584 y 1585 se construye la torre que, junto con la iglesia, finalizada en 1617, se convertirá en la nueva defensa del pueblo.

A finales de los años 50 la familia Esteva cede el material de la farmacia al Ayuntamiento y, el año 1965, la Diputación de Girona lo compra. Así, en los años 70, se traslada a la torre todo el material de la farmacia para que esté expuesto hasta que, en 1981, se inaugura el Museo Municipal y entra como colección. Desde principios de los 80 hasta el año 2009, el piso superior fue la sede del Patronato. A partir de ese momento en la torre se expusieron diapositivas sobre flora medicinal y en la actualidad se irán haciendo exposiciones temporales, empezando por los pergaminos del Archivo Histórico Municipal.