La maestosa costruzione in cotto si affaccia su un'ampia piazza circostante. Fu costruito tra il 1324 e il 1332 per volontа dei D'Acaja con un impianto quadrilatero con cortine merlate e quattro poderose torri quadrate. Nel corso del XV secolo la roccaforte venne trasformata in residenza signorile con sale, logge e porticati. Ulteriori lavori di abbellimento furono eseguiti dal marchigiano Federico Brandani. Fu residenza di Emanuele Filiberto di Savoia e di Carlo Emanuele I. Dal 1985 l'edificio ospita la biblioteca e l'archivio storico comunale.