Attorno alla Pietra si svolsero importanti battaglie campali, specialmente tra Quattrocento e Cinquecento, quando i veneziani cercavano di spingersi a Nord avversati dal principato e dagli austriaci. Memorabili gli assedi del maggio 1413 e del 25 luglio 1487, preludio alla disfatta veneziana del 19 agosto a Calliano con la morte di Roberto Sanseverino. L'ultima grande battaglia risale all'autunno del 1796 tra austriaci e francesi: qualche muro della fortezza ne porta ancora i segni. Anticamente una massiccia muratura merlata, il Murazzo, si allungava dal castello fino al fiume Adige - il cui corso lambiva la rocca - bloccando in tal maniera la strada imperiale.