Esso si erge sulla primitiva Rocca diomedea, in un sito antichissimo, occupato sin dal neolitico da capanne pastorali, abitato successivamente da popolazioni di sanniti, ed in epoca latina baluardo della Luceria romana. Agli inizi del XIII sec. Federico II di Svevia lo prescelse per la sua posizione di "chiave" delle Puglie e vi trapiantт una colonia araba composta di Saraceni provenienti dalla Sicilia, facendo erigere sul colle, nel 1233, il suo Palatium, del quale oggi non restano che le superbe rovine, dette della Cavalleria.