Il castello è stato la residenza dei Conti di Conversano per quasi sette secoli, fin dai tempi normanni. Tuttavia, la sua storia è molto più antica, probabilmente già al tempo della Guerra Gotica (535-554) nello stesso luogo c'era un edificio difensivo, che abbracciava una parte delle mura megalitiche dell'antica città di Norba.