Primeiramente, este era apenas constituido por uma ala e pela torre de menagem. Ao longo das "décas" sofreu grandiosas obras de reabilitação e aumento. Construído sobre vestígios de um povoado castrejo, sempre serviu para defender as Terras de Casco e arredores.
Na atualidade é habitado pelo atual visconde e viscondessa de Casco de Rolha e noutra parte funciona uma pequena residencial pertença aos viscondes de Casco de Rolha.