El poblamiento de la colina del castillo se iniciaría a finales de la edad del bronce. Muy probablemente, en época romana, por su situación estratégica y por la aparición de materiales de la época, también estaría ocupado.

La primera referencia escrita sobre el castillo es del 672, cuando esta fortaleza de primer orden de la frontera septentrional visigoda, el Castrum Libyae, se había unido a la revuelta de Hilderico, duque de Narbona, y del general Paulus contra el rey Wamba.

Desde Llívia, todavía situada alrededor del castillo, empieza a forjarse Cataluña, siendo capital del condado de Cerdaña y residencia de algunos de sus condes. Con la muerte del último conde sardanés, Bernat Guillem, el 1117, se pasa a la soberanía del Casal de Barcelona. Pronto se fundará Puigcerdà y se vuelve a perder la importancia administrativa, pero no la estratégica. Por este motivo, Jaime I da la aprobación real a la gente de Llívia para volver a bajar y habitar la parte baja del monte con la condición de no abandonar nunca la fortaleza. Es durante este siglo XIII que se construye el nuevo castillo que, durante los siglos XIV y XV, será escenario de muchos enfrentamientos: por la reunificación de la Corona de Aragón o después de la Guerra Civil catalana, cuando Juan II había hipotecado los condados.