Le château fut la résidence des comtes de Conversano pendant près de sept siècles, depuis l'époque normande. Pourtant, son histoire est bien plus ancienne, probablement déjà à l'époque de la Guerre gothique (535-554), au même endroit, il y avait un bâtiment défensif, qui embrassait une partie des murailles mégalithiques de l'ancienne ville de Norba.