Il Castello Caldoresco, principale monumento cittadino, presenta due nature opposte. SI staglia come maniero medievale, con tanto di fossato e ponte levatoio se lo si osserva dalla piazza Barbacani, mentre appare come un palazzo neoclassico, Palazzo Palmieri, se lo si guarda dalla piazza Rossetti.

Il castello, nelle sue forme composite ed eclettiche, costituisce in realtà un compendio della storia cittadina e, osservandolo con attenzione, si possono rileggere le vicende di duemila anni di storia riassunte nelle sue mura.

Se si potesse accedere alle sue cantine, nella parte trasformata in palazzo, si scoprirebbero infatti delle mura romane. Sono quelle dell’anfiteatro dell’antica Histonium, sulle cui rovine i franchi avevano probabilmente costruito il primo castello dopo la conquista del borgo nel 802 e la fondazione del Vasto d’Aymone.

Quando Giacomo Caldora, potente capitano di ventura, ricevette in feudo nel 1422 la città del Vasto, decise di adeguare il castello alle necessità difensive imposte dall’avvento delle armi da fuoco. Per questo nel 1427 fece iniziare i lavori, affidati probabilmente all’ingegnere militare Mariano di Jacopo da Siena, detto il Taccola. Questi allargò il castello secondo un modello definito “cinta bastionata”, con tre robusti bastioni “a mandorla” atti a deviare i colpi di artiglieria e un quarto bastione circolare a cui era addossata la porta “di castello” nel punto in cui oggi si passa da Piazza Rossetti a Piazza Diomede.