Fondazione
Incontriamo il castello costeggiando a sinistra il promontorio dove é situato il nucleo medioevale della cittá: progettato nel 1279 da Pierre d'Agicourt, per le opere murarie, e Giovanni da Toul per la carpenteria, per volere di Carlo I d'Angiò come fortezza inespugnabile allo scopo di fortificare il tratto di costa da Bari a Monopoli, ha la forma di un poligono stellare.
La singolare planimetria è troppo progredita per essere del XIII secolo per cui risulta più accreditata l'ipotesi che in origine il castello fosse costituito da una torre rettangolare a tre livelli, guarnito di merli e difeso da caditoie e feritoie. Del complesso angioino, nucleo focale dell'attuale castello, probabilmente situato fra gli odierni bastioni Sud ed Est in corrispondenza dell'ingresso principale, si sono rinvenuti resti murari costituiti da conci in pietra rozzamente squadrati secondo la tecnica muraria dell'epoca, caratteristica di quasi tutte le costruzioni militari. Verso la metà del XIV secolo il castello fu rinforzato con due torri cilindriche in pietra viva poste a sud e ad est della torre angioina.
Allo stesso periodo potrebbe risalire la costruzione dell'antico portale di accesso in pietra, sito a breve distanza dall'ingresso, lungo le mura angioine ma a livello inferiore, sotto la cortina est. All'inizio del XV secolo veniva effettuato un consolidamento delle fortificazioni: alle cortine si aggiungeva la realizzazione di un puntone a forma di pentagono irregolare, con conci in tufo carparo ancora oggi rintracciabili sotto l'estremità ovest del castello. Dopo alterne vicende il castello subisce delle trasformazioni ad opera di Gaspare Toraldo che vi fece costruire ad intervalli regolari parecchi torrioni di forma circolare, uno dei quali è ancor oggi esistente.
In epoca Aragonese, con la scoperta della polvere da sparo si verificò un sostanziale cambiamento delle strategie militari: i castelli costruiti in precedenza erano a difesa prevalentemente verticale, con alte mura a strapiombo per evitare la scalata; successivamente tali fortificazioni non erano in grado di opporre un'adeguata resistenza alle pur rudimentali armi da fuoco. Da qui la necessità di creare barriere che consentissero di ammortizzare l'urto delle palle di cannone. Tuttavia, data la novità della situazione, si preferì lasciare accanto alle cannoniere le caditoie, difese più tradizionali ma di efficacia sperimentata.
Di qui l'originalità del maniero molese in cui si sovrappongono, stratificandosi, le esperienze architettoniche e militari di epoche diverse. Quindi alle mura verticali angioine furono addossate mura oblique, riempiendo le intercapedini con terra e materiale di risulta; furono create piazzole interne per l'artiglieria e le mura furono abbassate per consentire il tiro radente; sorsero inoltre bastioni per il tiro fiancheggiato, cioè per proteggere le cortine di muro comprese fra un bastione e l'altro. L'opera di ristrutturazione fu affidata all'architetto Evangelista Menga da Copertino che, su commissione di Carlo V, racchiuse il castello nelle nuove mura a scarpata molto inclinata, con baluardi angolari, oggi non più esistenti.