El castillo fue la residencia de los Condes de Conversano durante casi siete siglos, desde la época normanda. Sin embargo, su historia es mucho más antigua, probablemente ya en la época de la Guerra Gótica (535–554), en el mismo lugar había un edificio defensivo, que abrazaba una parte de las murallas megalíticas de la antigua ciudad de Norba.