De origen medieval fue ampliado en el siglo XVI durante el reinado de Felipe II. La primitiva fortificación era de planta cuadrada, recios muros y buena sillería. En 1592 Tiburcio Spanochi agregó obra nueva, para formar un conjunto defensivo llamado "Castillo de Canfranc". Tuvo interés militar, y mantuvo guarnición, hasta su desafección, ocurrida hacia 1740. Los restos de la torre antigua se conservaron hasta 1928, cuando fueron derribados por la construcción de la carretera, salvándose la fachada oriental del castillo, obra ya del siglo XVI. Situado al norte del casco urbano, su muro oriental, maltrecho, es el único resto claramente visible que actualmente encontramos del Castillo.