Se trata de un castillo situado sobre la antigua Fayón, no lejos de la ermita de Nuestra Señora del Pilar, situada en una cota más alta. Se compone de un recinto amurallado bastante estrecho y alargado pues se adapta al montículo en el que se asienta. En su punto más alto se observan las ruinas de una torre de planta rectangular, ya muy rebajada, con 8 saeteras. En su interior se alzan restos de un muro que la dividiría en dos espacios diferenciados. En el piso inferior se conserva el recinto perimetral del castillo (anchura de 70 – 80 cm.). Los lienzos mejor conservados son los ubicados en la zona norte y oeste. Alguno de ellos supera los 2,5 m. de altura, apreciándose en ellos unas seis saeteras, que han sido transformadas en troneras para los cañones, probablemente durante las guerras carlistas con el fin de vigilar el antiguo camino de acceso al Fayón secular. El resto de lienzos no se alza más de 1 m. En el lienzo este aún se documentan 5 saeteras en el 1, 5 m. de altura que mantiene. El castillo tendría dos puertas de acceso, una pequeña portezuela en la cara norte (1 m. de anchura), bajo la torre del Homenaje, y una segunda puerta, muy degradada, en la cara sur. Se accedería al castillo desde el antiguo pueblo de Fayón por un estrecho camino escalonado excavado en la roca natural. En las zonas más bajas se pueden apreciar restos de otros recintos defensivos que pudieron ser construidos durante las Guerras Carlistas para la vigilancia del río Ebro. La torre de la iglesia de San Juan Evangelista del antiguo pueblo que emerge de las aguas del embalse de Ribarroja, es de estilo renacentista, tiene un tercer cuerpo de planta cuadrada en piedra con resalte de un par de columnas en cada lado y vanos en arco de medio punto donde se alojaban las campanas. En la parte superior, un cuarto cuerpo octogonal en ladrillo con vanos más pequeños en arcos de medio punto en cuatro de los ocho lados. Remata un chapitel octogonal metálico con veleta. Conserva un yugo de madera colgado en una de sus ventanas y la muestra del reloj, que parece que una de sus saetas a desaparecido.