Según la tradición, el origen de la ciudad fue un castillo árabe, denominado Almagrib, levantado en una de las derivaciones del camino de Toledo-Córdoba y que podría haber estado ubicado en los actuales Palacios Maestrales.
Este nombre hace alusión a la característica arcilla rojiza de la zona, de color almagro. El almagre está presente en el colorido de la Plaza Mayor y otros edificios del municipio.