Según la leyenda, al principio del siglo VIII, los pobladores ocultaron una imagen de la Virgen entre unos arbustos. Pero en 1175, unos pastores la encontraron al lado de la vega y decidieron llevarla a la Parroquia, pero, al amanecer del día siguiente, apareció otra vez en la vega y así ocurrió los siguientes 3 días y decidieron hacer un santuario que la protegiese.
En la romería del 8 de septiembre se acude al Santuario y se representa el dance a la Virgen de la Vega, aquí participan graciosos, danzantes, embajadores de moros y cristianos.
También se mezclan diálogos de pastores en honor a la virgen.
Al lado del Santuario se construyó la casa del Ermitaño en 1590 quien está encargado de cuidar el templo.
Más tarde, el edificio lo ampliaron y se convirtió en el albergue de los clérigos y romeros que llegaban anualmente.
El Santuario de ahora fue construido por Juan Escudero en 1751 debido a que el antiguo templo se derribó en 1464.
