Il castello di Carovigno sorge in posizione eccentrica, sul punto più alto del paese e, per questo, strategicamente più adatto alla difesa. Si presenta a pianta triangolare, con una torre quadrata sul vertice orientale, una circolare sul vertice occidentale e una "a mandorla" sul vertice settentrionale.
Dall'alto delle torri si domina tutta la fascia costiera che si estende da Torre Canne sino a Brindisi.

Il primo nucleo del Castello con ogni probabilità di origine normanna, è da identificarsi nella torre quadrata a forte controscarpa adiacente Porta Ostuni. Sul lato sud, a ridosso di questa torre doveva svilupparsi il "palatium" descritto nell'Inventario di Maria d'Enghien del 1440. Le fabbriche successive a questa data insistono sulla zona nord, inglobando in una struttura triangolare sia la torre quadrata, normanna, sia quella circolare, forse aragonese.

Il torrione a mandorla posto sullo spigolo nord-est fu fatto costruire, tra Quattro e Cinquecento, dai Loffreda, feudatori di Carovigno in questo periodo come testimonia la presenza dell'arma di matrimonio di Pirro Loffreda, murata nella stessa torre. Pare che i costruttori della torre a mandorla di Carovigno abbiano subito l'influsso dell' architetto senese Francesco di Giorgio Martini, la cui presenza in Puglia è attestata nel 1492 per sopraintendere alla costruzione delle piazzeforti di Taranto, Otranto, Gallipoli e Brindisi.

Tutte queste fabbriche e dunque anche quella di Carovigno, risentono del clima innovativo che ha investito, tra Quattrocento e Cinquecento, l'arte della guerra e delle fortificazioni. Con la costruzione della torre a mandorla, il castello assume la planimetria triangolare che rimarrà immutata nel tempo, nonostante i numerosi interventi di restauro. Fra questi ricordiamo quello "integrativo" del 1906, affidato dal proprietario, il conte Alfredo Dentice, all'ingegnere Marshietzek. Si intervenne sul coronamento ricostruendo "in stile" le merlature, le caditoie e alcune parti mutile della tessitura muraria, si costruì, infine, un loggiato sugli spalti e un portico-altana a sei archi che affaccia sul cortile interno. Il complesso residenziale, destinato negli anni 30 dai Principi Dentice di Frasso a sede di lanificio, di proprietà dell'Amministrazione Provinciale è concesso in uso al Comune che, dopo aver completato i restauri, destinerà la struttura ad attività socio-culturali (museo, biblioteca, archivio comunale, ecc.).