En torno al cerro del castillo se dispone el barrio más antiguo de Caravaca.

A partir de los siglos XII y XIII es cuando empieza a formarse un núcleo concentrado y fortificado de relativa importancia. El barrio tiene la típica estructura irregular y desordenada en la que se entrecruzan callejuelas, se abren placetas y aparecen callejones sin salida.

Estaba rodeado por una muralla de la que se conservan restos en algunas calles.