El casco urbano de Valdealgorfa se emplaza sobre el alargado promontorio que divide la confluencia de dos vales. Su núcleo inicial de población se estableció sobre la zona más alta, donde al pie de un murallón rocoso se asentaron los primitivos iberos. El casco urbano se desarrolló extendiéndose por la ladera nordeste,  al abrigo de las rocas, y sus calles evolucionaron paralelamente a la zona más alta.  Tanto por sus extremos como por su parte central se cerraba con varios portales de los que se hoy se conservan: el portal de Alcañiz, el portal de San Roque, sobre el que se construyó la capilla dedicada a este santo en el siglo XVII, el Cantón de Marco y el del Perche.

El conjunto urbano de Valdealgorfa se ennoblece con las bellas fachadas de numerosas casonas o casas palaciegas. La mayor parte de ellas presentan portada adovelada de sillería y la característica "galería aragonesa" de arcos de medio punto, realizada en muchos casos en ladrillo.