Data del segle XVIII.

És d'estil renaixentista i té la façana barroca, consta de tres naus i d'un campanar de 34 m; a dins hi ha una cripta dels barons de l'Albi.

La primera referència d’aquest castell data de l’any 1179, en un conveni establert entre el rei Alfons “el Cast” i Guillem de Cervera, on el rei li encomanava diversos castells, entre ells el “castrum de Albio”.

Es va construir en estil romànic i després gòtic, tal com es pot veure encara en les restes del celler i de la presó. A partir de l’any 1336 es va engrandir i es va convertir en un dels edificis més sumptuosos de Catalunya. Va ser la reforma feta al final del segle XVI la que el transformà en un palau del més pur estil renaixentista.
El castell era propietat dels barons que tenien les terres del terme de l’Albi. Els primers barons o senyors de l’Albi van ser Guillem de Timor i la seua esposa., que van obtindre aquest títol l’any 1202. Des d’aleshores, a l’Albi sempre hi ha hagut baró o baronessa. Els Barons de l’Albi van destacar sempre en la història de les nostres terres catalanes, com militars, eclesiàstics i escriptors. Dos barons han estat virreis a l’illa de Sardenya (s.XV) i a la de Mallorca (s.XVII), tres han mort en batalles: Rubinat (1461), Gaeta (1503), i Solsona (1655). Durant les guerres Catalanes, els Senyors del castell van recolzar les pretencions reials del Compte Jaume d’Urgell, del Príncep de Viana, de l’Arxiduc d’Àustria (Carles III) i de Carles VII. 

Actualment  és propietat de l’ajuntament, que amb una inversió de més d’un milió d’euros, ha dut a terme una exhaustiva excavació arqueològica, i unes obres de consolidació i restauració per convertir-lo en un centre museogràfic i pluricultural.

Es pot visitar cada dia, demanant-ho a l’ajuntament.