Il centro di Carovigno, di origine messapica, si è sviluppato sul sito dell'antica acropoli, dal momento che rinvenimenti del tutto casuali, fuori le mura medievali, hanno portato alla luce tombe a camera ascrivibili a quell'età. L'originario nucleo urbano, risalente, con ogni probabilità, all'età altomedievale, è quello che si sviluppa intorno alla chiesetta di S.Angelo.

A questa prima fase di sviluppo, segue un'espansione successiva, dal XIV al XVI secolo, che conferisce al borgo antico la configurazione attuale. Un forte incremento demografico avrebbe motivato l'allargamento dell'antica cerchia muraria attestato da una lapide inserita in un tratto di mura che affaccia sull'attuale Corte Mameli. Qui compare il nome di "Raymondus" identificato da molti studiosi con il committente dell'opera difensiva: il Principe Raimondo del Balzo Orsini. L'impianto delle mura, di cui restano ampi tratti, si può far risalire al periodo fra tardo Trecento e primo Quattrocento.

Esso disegna un percorso ellittico contrassegnato in quattro punti da due torri quadrate e due rotonde. A nord-ovest il Castello difende Porta Ostuni denominata anche "Porta Nuova", mentre sul lato opposto, a sud-est, una torre antica quadrangolare e la torre dell'orologio del XVIII sec. fiancheggiano Porta Brindisi. Quest'ultima è costituita da un doppio sistema di porte e di torri: la porta più interna, a sesto acuto è di età angioina, quella più esterna, a tutto sesto, risale al Cinquecento.