كانت قليبية في العهد الفاطمي( قرن 10 م) مجهزة بدار لصناعة السفن وكانت قاعدة بحرية كبرى تنطلق منها الحملات ضد إيطاليا الجنوبية.
وانجرٌ عن انتقال الخلفاء الفاطميين إلى القاهرة انهيار القوة البحرية التونسية في عهد بني زيري وأصبحت قليبية كما كانت قديما زمن البونيون هدفا لأسطول النورمان الذين استقروا منذ أواخر القرن الحادي عشر بصقلية.
وفي عهد تميم بن المعز الزيري (1068 م-1108 م) استولى هؤلاء النورمان على المدينة وحولوها إلى قاعدة عمليات حربية ضد شمال البلاد التونسية.
ولم يتمكن ابنه يحي من استعادتها إلا حوالي سنة 1112م بعد حرب طويلة انجر عنها تهديم الحصن البيزنطي الأغلبي وبعد إسترجاع المدينة أمر يحي (إتقاء لعودة النورمان مجددا) ببناء قلعة فسيحة تحتل جل مساحة النتوء الصخري ويرجع تاريخ المعلم الحالي من حيث بنيته وتخطيطه إلى هذه الفترة وإليها أيضا يرجع الممر المحمي الذي يربط القلعة من الجهة الغربية بالمدينة السفلى وكان هذا الممر الذي يبلغ طوله 200 م وعرضه 4 م يؤدي للقلعة بواسطة باب سري ويسمح بتسيير الجيوش بين الموقعين.
