Zamek Caldoresco, główny zabytek miasta, prezentuje dwie przeciwstawne natury. Obserwowany z Piazza Barbacani, wygląda jak średniowieczna warownia, kompletna z fosą i mostem zwodzonym, podczas gdy z Piazza Rossetti jawi się jako neoklasycystyczny pałac, Palazzo Palmieri.

Zamek, ze swoimi złożonymi i eklektycznymi formami, jest w rzeczywistości kompendium historii miasta, a dokładne obserwowanie pozwala prześledzić wydarzenia z dwóch tysięcy lat, które można podsumować wewnątrz jego murów.

Gdyby można było dotrzeć do piwnic, w części przekształconej w pałac, odkryto by rzymskie mury. Są to pozostałości starożytnego amfiteatru Histonium, na ruinach którego Frankowie prawdopodobnie zbudowali pierwszy zamek po zdobyciu wioski w 802 roku i założeniu Vasto d’Aymone.

Gdy Giacomo Caldora, potężny kapitan najemników, otrzymał miasto Vasto jako lenno w 1422 roku, postanowił dostosować zamek do potrzeb obronnych wynikających z rozwoju broni palnej. W 1427 roku rozpoczął prace budowlane, prawdopodobnie powierzone inżynierowi wojskowemu Mariano di Jacopo ze Sieny, znanemu jako „Il Taccola”. Zamek został rozbudowany według modelu znanego jako „obwarowania bastionowe”, z trzema solidnymi bastionami w kształcie migdała, zaprojektowanymi do odchylenia ognia artylerii, oraz czwartym bastionem okrągłym, na którym znajdowała się „brama zamkowa”, przez którą obecnie przechodzi się z Piazza Rossetti na Piazza Diomede.