El hisn, o castillo, de Balaguer era el centro del poder, tanto en la época andalusí como en la época condal. Del momento andalusí, han subsistido las yeserías que decoraban la taifa, o palacio (construido a mediados de siglo XI), que representan uno de los pocos conjuntos de la arquitectura islámica de esta época en la península Ibérica, comparables a los restos de la Aljafería de Zaragoza o la Alcazaba de Málaga. Elementos vegetales, zoomorfos y epigráficos se entrelazan en un entramado de arcuaciones polilobuladas, que conservan restos de la pintura original, a base de lapislázuli de Afganistán o rojo de cinabrio, entre otros.
Después de la conquista feudal de la ciudad, el palacio se convirtió en la residencia de los condes Urgell. Destacan las reformas que estos llevaron a cabo en el palacio a mediados de siglo XIV, de las que se conservan algunos elementos de decoración arquitectónica, además de restos de la vajilla común y de lujo (cerámica con reflejos metálicos de Manises), o los canales de agua en los jardines de los condes de Urgell, realizados a base de alicatados y baldosas azules de Manises-Paterna.