Il palazzo è posto ai margini del quartiere medievale, a sud-est della penisoletta di Bari vecchia. In seguito alla traslazione delle ossa di San Nicola e al restauro della Cattedrale, il quartiere ha vissuto una significativa espansione urbanistica. Alcuni studiosi ritengono che il palazzo sia appartenuto alla famiglia Rinaldi. La pianta, tipica delle cosiddette "palaziate" fortificate medievali (agglomerati di case-torri), è costituita da un nucleo centrale e da torri a più piani ai lati. Il Museo Civico nacque nel 1919 in alcuni locali annessi al Teatro Margherita su iniziativa del Comune di Bari col titolo di Museo Storico e, nel 1977 la sede fu trasferita in questo palazzo. Il patrimonio museale è costituito principalmente da beni artistici e da numerosi documenti donati dalla famiglia Tanzi che ricostruiscono la storia di Bari e della Puglia dal Cinquecento all'Ottocento.