La struttura originaria era formata da 13 vani soprani, da 6 vani sottani, da una stalla e da una cantina. Il castello fu Posseduto da varie ed illustri famiglie del Regno di Napoli: Gianvilla, Pisciscelli/Zurlo, Gaetano Dell'Aquila, Sanchez, De Luna, D'Aragona, Spinelli, Caracciolo, Sanseverino di Bisignano. Oggi non rimane che un colossale torrione, con una sola finestra spalancata verso il paese e, se la si osserva con attenzione nelle notti di luna e nei mesi da aprile a giugno, и facile vedervi una figura di una donna, Abufina, la piщ bella e la piщ sfortunata ragazza mai vissuta a Grottole. E’ la storia di un grande amore che inizia cosм. Un giorno Abufina, bellissima dama, ricamava seduta accanto alla finestra del torrione: ella possedeva la pelle bianca come latte e pensava al suo amore, Selepino, che combatteva in terra lontana. All’improvviso, mentre era intenta ai lavori domestici, avvertм lo scalpitio di un cavallo; era un messaggero che portava un plico che cosм recitava: “Vieni, Abufina, vieni da me; io che uccido i nemici, me l'amore mi uccide; vieni, Abufina, vieni da me: insieme con te al castello di Grottole sol tornerт; fа presto, fа presto...”. E Abufina partм, ma il bianco cavallo, distratto dalle pietre luccicanti e scivolose del fiume Basento, s’impennт, e la bella fanciulla fu travolta nei vortici del fiume. La leggenda narra che il signore del castello, per onorare la memoria di una fanciulla, Abufina, morta per andare incontro al suo amore vi collocт una lapide (di cui era possibile vedere fino agli inizi del secolo scorso dei frammenti) con una scritta: “Ad Abufina la bella, che corse, cui fu dolce morire d'amore; questa torre che fu tua dimora, parli sempre alle genti di te. Ogni amante ti porga un saluto, e si stringa al suo cuore l'amata...”. Ancora oggi il Basento, pentitosi per aver distratto il cavallo bianco, pare che mormori ogni tanto il nome di Abufina.