El Castillo de Caldoresco, principal monumento de la ciudad, tiene dos naturalezas opuestas. Se destaca como una mansión medieval, completa con un foso y un puente levadizo si lo miras desde la Piazza Barbacani, mientras que parece un palacio neoclásico, el Palazzo Palmieri, si lo miras desde la Piazza Rossetti.

El castillo, en sus formas compuestas y eclécticas, constituye en realidad un compendio de la historia de la ciudad y, observándolo detenidamente, se pueden releer los acontecimientos de dos mil años de historia resumidos en sus muros.

Si pudieras acceder a sus sótanos, en la parte transformada en palacio, descubrirías de hecho las murallas romanas. Son los del anfiteatro del antiguo Histonium, sobre cuyas ruinas los francos probablemente construyeron el primer castillo después de la conquista del pueblo en 802 y la fundación de Vasto d’Aymone.

Cuando Giacomo Caldora, un poderoso capitán de fortuna, recibió la ciudad de Vasto como feudo en 1422, decidió adaptar el castillo a las necesidades defensivas impuestas por la llegada de las armas de fuego. Por ello, en 1427 hizo comenzar las obras, probablemente encomendadas al ingeniero militar Mariano di Jacopo da Siena, conocido como Taccola. Amplió el castillo según un modelo definido como “murallas de cerramiento”, con tres robustos baluartes “almendrados” destinados a desviar los proyectiles de artillería y un cuarto baluarte circular sobre el que se apoyaba la puerta del “castillo” en el punto por donde hoy se pasa de Piazza Rossetti a Piazza Diomede.