El origen del palacio se remonta al siglo IX, en el que el reino musulmán de Toledo construyó una edificación defensiva que después usaron los reyes de Castilla, sobre la que en el Siglo XVI, se construyó el Antiguo Alcázar. Destruido por un incendio en 1734, Felipe V decide la construcción de un nuevo edificio en piedra y ladrillo, ubicado en el mismo lugar. Las obras se realizaron entre 1738 y 1755 estableciendo Carlos III su residencia en él en 1764. La decoración interior testimonia en gran medida los diferentes estilos artísticos habidos en su historia. De este modo, del reinado de Carlos III se conservan el Salón del Trono, la Cámara del Rey (o de Gasparini) y la Sala de Porcelana -obra de la Real Fábrica del Buen Retiro-. De lo conservado del reinado de Carlos IV, destaca el Salón de Espejos y de época Alfonso XII, el Comedor de Gala.