Dependiendo del Concejo de Lorca, se fue organizando el núcleo poblacional 'Casas de los Alumbres de Almazarrón', en el que se levantaron el Castillo de Los Vélez y la Casa Fuerte del Marqués de Villena.

Ambos señoríos se instalaron en la zona a partir de la segunda mitad del siglo XV, cuando Enrique IV concede el privilegio de explotación de las minas de alumbre a ambos marquesados.

El castillo tiene una planta irregular, ocupando una superficie de algo más de 3000 m², pudiéndose dividir en dos zonas bien diferenciadas: la fortaleza propiamente dicha y el patio de armas. Sus muros tienen un metro de grosor y se apoyan directamente sobre la roca madre. De la estructura interna original del castillo se sabe –según los testimonios escritos por González Simancas, que visitó el castillo en 1903- que mantenía restos de diferentes estancias, pavimentaciones, puertas con dinteles de caliza labrada, decoraciones realizadas a base de estucos rojos, elementos decorativos, escalones, construcciones subterráneas y otros detalles hoy en día desaparecidos u ocultos bajo las terreras de una vieja mina, abierta en el interior del recinto.

El castillo serviría de morada ocasional al Marqués de Los Vélez en sus esporádicas visitas y como vivienda cotidiana a su gobernador en la Villa.

Además, el recinto albergaría a una pequeña guarnición encargada de defender la costa de los ataques berberiscos. Durante estas amenazas dicha construcción protegía a la población mazarronera, integrada, fundamentalmente, por trabajadores de las minas.

El Castillo de Los Vélez de Mazarrón está declarado Bien de Interés Cultural conforme a la disposición transitoria primera de la Ley 4/2007, de 16 de marzo de 2007, Patrimonio Cultural de la Comunidad Autonómica de Murcia.