Nel cuore di Lecce, al confine tra il centro storico e la città moderna, proprio a due passi da piazza Sant'oronzo, sorge il castello Carlo V, una struttura difensiva densa di storia.
In origine, il castello aveva una forma quadrangolare, con due torri ad est - la Torre Mozza e la Torre Magistra - ed un fossato che lo circondava sui quattro lati.
Successivamente, per volontà di Carlo V, fu rimaneggiato dall'architetto Gian Giacomo d'Acaya. In quell'occasione, oltre a ristrutturare l'edificio esistente, fu eretta una possente cinta bastionata a forma di trapezio e fu coperto il fossato, trasformandolo in una galleria sotterranea.
Il Castello ha una forma quadrangolare e ad ogni angolo presenta un bastione: quello di S. Croce, quello di S. Giacomo, S. Martino e S. Trinità. L'architettura militare è particolarmente curata sul lato occidentale e si colloca sulla strada che porta a S. Cataldo, zona marina da cui arrivavano gli attacchi nemici. All'epoca, per accedere alla città bisognava attraversare la porta Reale, protetta da due bastioni e da un ponte levatoio per superare il nuovo fossato, costruito in epoca più tarda.
Dal 1870 al 1979 il castello fu caserma e distretto militare ma nel 1983 fu ceduto all'amministrazione comuncazione che tuttora lo utilizza come sede dell'Assessorato alla Cultura ma, soprattutto, sede di eventi e attività culturali.
