El Castillo de Alba de Tormes es elemento clave de la ruta urbana que permite un recorrido sugestivo por el conjunto histórico.
Su origen es incierto. En un principio se cree que se levantó como mera atalaya y torre de defensa. Más tarde, en el siglo XV, comienza su verdadera trasformación de la mano de Don García Álvarez de Toledo, Primer Duque de Alba y origen de este linaje.
El castillo se convierte bajo el Gran Duque de Alba, Don Fernando Álvarez de Toledo, en una fortaleza palaciega que acogió una ilustre corte renacentista. Disponía de seis torres decoradas con mármoles y pinturas murales como las que se conservan en la Torre del Homenaje, unos frescos que muestran pasajes de la batalla de Mühlberg, pintados por Cristóbal Passin y Miguel Ruíz de Carvajal.
Tras el esplendor, el castillo sufrió los avatares del tiempo, luchas y enfrentamientos, principalmente de la Guerra de la Independencia, que redujeron su tamaño de forma considerable.
En la actualidad y tras diversas intervenciones, se puede visitar la Torre principal que acoge las mencionadas pinturas, el Aula de Interpretación y una exposición sobre el linaje de los Alba. La ascensión continúa hasta el mirador panorámico exterior, que permite una formidable visión del entorno.
En 1991 la Casa de Alba cedió el castillo al Ayuntamiento de la villa, para que este lo utilizara con fines turísticos. La planta baja se ha convertido en la actualidad en un museo con los restos de bustos, cerámicas y monedas de la época; en la parte superior se ha habilitado un museo acerca de la vida de Fernando Álvarez de Toledo y en el exterior, se ha habilitado un mirador. La silueta de la torre del homenaje junto al puente sobre el río Tormes es uno de los símbolos más conocidos de Alba de Tormes.
