L’attuale sede del Conservatorio "N. Piccinni" si trova presso villa Lindemann (ex Bucciero), in via Cifarielli, un prolungamento di Via Capruzzi. Il conservatorio si è trasferito qui negli anni Cinquanta, ma la sua storia inizia nel 1925 quando la "Gazzetta di Puglia" annunciava l’inaugurazione del Conservatorio con sede in centro, in via Melo. Le origini del Conservatorio sono legate anche alla figura di Giovanni Capaldi (1889-1969) violinista, pubblicista e critico musicale barese che, per la prima volta in Puglia, fondò un istituto musicale privato dedicato al celebre compositore e operista barese Niccolò Piccinni. 
Nel 1932 l’istituto divenne proprietà di un consorzio costituito dall’Amministrazione Provinciale, dal Comune di Bari e dal Consiglio Provinciale dell’Economia: da questo momento si trasformò in Liceo Musicale. Il 1 febbraio 1934 la direzione fu affidata al giovane e valente Maestro Pasquale La Rotella, compositore e direttore d’orchestra. Durante la guerra, il conservatorio fu relegato in locali di fortuna, il Liceo si trasferì nell’attuale sede solo nel 1957 e nel 1959 si trasformò in Conservatorio di Musica di Stato, trasformazione formalmente avvenuta poi nel 1962. La sede del Conservatorio venne ampliata nel 1966 con la costruzione della Scuola Media annessa; nello stesso anno furono avviati i lavori di ampliamento della villa per la costruzione, a cura della Provincia di Bari, del grande Auditorium intitolato a Nino Rota, lavori protratti sino al 1981, anno della inaugurazione e della sua entrata in funzione. Nel 1968 la sede venne dotata della Biblioteca. Nel 2009 è stato completato un nuovo plesso di aule ed è iniziata la ristrutturazione dell’Auditorium “Nino Rota” ormai chiuso al pubblico dal 1992.