El origen de la ermita es el torreón medieval de Villadiego, de finales del siglo XIII o comienzos del XIV. De estilo mudéjar, es de planta octogonal y está coronado con almenas. Su interior tiene dos plantas cubiertas con bóvedas, la inferior es semiesférica y la superior vaída.
Adosado al torreón se encuentra el edificio de la ermita, igualmente mudéjar, cuyo presbiterio tiene bóveda esquifada o de paños sobre trompas con arcos de herradura. Un arco ojival de amplia luz comunica el presbiterio con la nave central del templo. La planta de éste es de tres naves separadas por arcos de medio punto sobre pilares.
En el patio de entrada se ubica una colección de piezas arqueológicas romanas.
La ermita está consagrada a la Virgen de Villadiego, cuya imagen se venera como patrona de Peñaflor. El 14 de agosto, una romería acompaña a la imagen desde la ermita al pueblo, regresando a su ermita el primer domingo de octubre.