El topónimo de «La Peña» hace referencia a la gran mole de episienita existente junto a la localidad y que es conocida como «La Peña Gorda». En documentos del siglo XIII el pueblo se registra como «Penalfange»,5 es decir, «Peña Alfange», que provendría de la palabra árabe «alfanje» (espada árabe), topónimo elegido quizás por algún suceso acaecido durante la Reconquista o por la curvatura de «La Peña Gorda». Asimismo, existe la teoría de que esta localidad sería la «Penna» (Peña) que repobló Ramiro II de León en el siglo X y que la historiografía ha identificado con Peñaranda de Bracamonte o Peñausende, aunque la escasa documentación conservada de dicha época hace imposible determinarlo.
El elemento más llamativo y seña de identidad de la población, de la cual recibe el nombre, es la Peña Gorda, un bornhardt o inselberg de episienita que está catalogado como lugar de interés geológico en el catálogo del IGME.6 Este bloque rocoso, de 41 metros de altura y 71 metros de diámetro, se habría formado hace unos 320-310 millones de años a una profundidad de unos 3 km de profundidad como un granito, pero la erosión y una serie de alteraciones hidrotermales (episienitización) alteraron su composición y le dieron una mayor resistencia a la erosión, quedando con el tiempo como uno monte isla.