Este edificio, que también ha sido llamado Castillo de Perote, Castillo de San Carlos, Fuerte de San Carlos o Prisión de Perote, forma parte de la historia de la región a causa de los diferentes usos que se le ha dado a lo largo de más de dos siglos. Fue construido a raíz del temor que tenían de una invasión inglesa tras los ataques de éstos en la ciudad de La Habana en el año de 1762. En un principio fue el virrey Joaquín de Montserrat el que ordenó su edificación, no obstante, quien en realidad ejecutó la orden seria su sucesor Carlos Francisco de Croix. Durante la época de la Independencia se utilizó para los regimientos españoles y posteriormente hizo de sede del Colegio Militar. Después de esto, por varias décadas, estuvo abandonado y luego funcionó como cárcel hasta el 2008, hoy en día es un museo.