Il castello vede la sua origine nel 1275, durante il regno di Carlo I d'Angiò. In questa fase doveva avere la struttura di un palatium medievale. Roberto d'Angiò lo ampliò nel 1329, affidando l'incarico a Francesco di Vivo e Tino da Camaino. Il palatium, chiamato Belforte, era di forma quadrata, fortificato con mura e torri sul lato frontale. Nel corso della ricostruzione venne modificato con opere difensive, tanto da essere chiamato castrum Sancti Erasmi, probabilmente per la presenza di una cappella dedicata a Sant'Erasmo. La ricostruzione cinquecentesca, voluta da Carlo V e diretta da Don Pedro de Toledo, fu eseguita secondo il progetto dell'architetto Pedro Luis Escrivà di Valenza. Tra il 1538 ed il 1546, il castello (chiamato Sant'Ermo o Sant'Elmo forse dall'originario Sant'Erasmo) trovò la sua attuale configurazione. La pianta stellare a sei punte ben si addice al luogo e alla funzione strategico-difensiva. Lavori di riedificazione furono realizzati nel 1599 da Domenico Fontana (nel 1587 un fulmine aveva colpito il deposito di munizioni, distruggendo la palazzina del castellano, gli alloggi militari e la chiesa). Comunque, l'originaria struttura non è mai stata alterata né da questo né dai successivi restauri. È stato demanio militare fino al 1976, anno in cui ha avuto inizio l'ultimo restauro, condotto dal Provveditorato alle Opere Pubbliche con l'intento di restituirlo alla città come sede di attività culturali. È stato realizzato un auditorium per settecento persone e sono stati ricavati molti locali nel piazzale d'armi e nel livello sottostante.

Della primitiva soluzione architettonica della fabbrica, voluta da Carlo duca di Calabria accanto al castello di Belforte (1325), rimangono pochissimi elementi: sono riconoscibili alcune aperture con archetti in stile catalano che si trovano nell'ex refettorio, usate probabilmente come passavivande, venute alla luce in un recente restauro. Gli architetti che iniziarono la costruzione della Certosa furono i medesimi che lavoravano negli stessi anni al castello: Tino di Camaino e Francesco di Vivo, cui successero nel tempo Attanasio Primario e Giovanni de Bocza. La Certosa fu inaugurata nel 1368, sotto il regno della regina Giovanna I, ma i certosini avevano preso possesso del monastero già dal 1337. Il complesso fu dedicato a San Martino, vescovo di Tours, probabilmente per la presenza nel luogo di una antica cappella preesistente a lui dedicata. Verso la seconda metà del secolo XVI, sotto la spinta della Controriforma, la Certosa fu modificata secondo criteri più moderni e grandiosi. Il primo artefice di gran parte delle trasformazioni fu Giovanni Antonio Dosio che lavorò anche al chiostro. Diviso in quindici campate da colonne di ordine dorico-toscano, il chiostro fu attribuito in passato all'architetto bergamasco Cosimo Fanzago, che intervenne invece, quale direttore dei lavori, solo nel 1623. Le aggiunte del Fanzago danno al chiostro l'aspetto attuale di un'opera eminentemente barocca. Si devono a lui l'aggiunta di lesene sulle colonne e il piccolo cimitero ornato da teschi. Sono ascrivibili a lui anche cinque dei sei medaglioni che raffigurano santi, posti sulle porte angolari del portico (il San Gennaro è un'opera giovanile di Domenico Antonio Vaccaro) e le otto statue poste sulla balaustra. Il chiostro piccolo, detto dei Procuratori, è anch'esso opera di Dosio. Al centro fu posto, nel 1605, un pluteale, opera di Felice de Felice. Sotto il priorato di Giovan Battista Pisanti (1640 ca.) cominciò la decorazione dell'appartamento del priore, detto Quarto. La gran parte del lavoro fu eseguita da Domenico Gargiulo, che l'ornò con brani di pittura paesaggista. Il pavimento del Quarto, opera di Giuseppe Massa (1741), fu decorato con motivi di nastri, volute e decoro "a graticcio". Il monastero, dopo alterne vicissitudini, fu soppresso dai francesi nel 1806 ed i certosini lo dovettero abbandonare. Le opere custodite furono acquisite dallo Stato.