Il Castello sorge su un pianoro in cima ad una collina collina che sovrasta le Acque Segestane. Il nome Calathamet (da “qal’ at al-hamma”, cioè “castello del bagno”) fa riferimento, oltre che alla sua posizione geografica rispetto ai bagni termali, ad un luogo fortificato e abitato già durante il dominio islamico sulla Sicilia. Con la conquista normanna il sito fu occupato e vennero costruiti un castello feudale e una chiesa. L’incastellamento di Calathamet non sembrerebbe avere avuto tuttavia fortuna e le tracce di occupazione sveva sarebbero in questo sito piuttosto scarse. L’area del castello sarebbe poi stata rioccupata per un breve periodo nel XIV secolo.