Fiore all'occhiello della Città, lo storico edificio, più volte modificato nel corso del tempo, fu probabilmente tenuta di caccia dei Normanni e successivamente trasformato in fortezza del
Duca Sergio IV nell'anno mille. Nel 1136 fu ristrutturato da Ruggiero il Normanno e nel 1825 divenne di proprietà del Barone
Carlo Petra. Successivamente, il Palazzo fu venduto al Comune che, nell'ultimo quinquennio, lo ha riportato ai suoi antichi splendori. Attualmente, infatti, il Palazzo è articolato su tre livelli: al piano terra c'è l'archivio storico comunale, al piano ammezzato è previsto il Comando dei Vigili Urbani ed al primo piano gli uffici di rappresentanza e un ampio salone da destinare alle attività culturali della città. Il Palazzo di Città, ripristinato nella sua struttura originaria, vanta un bellissimo giardino attraversato da viali alberati e abbellito da piccole aiuole.