Du château de Castelbouc, qui domine le village éponyme, il ne reste que des ruines. Il est déjà mentionné au XIIème siècle. A la fin du XVIème siècle le château est démantelé, sous ordre des Etats du Gévaudan, afin qu’il ne tombe pas entre les mains des protestants ou de pillards.
Au XIIIème siècle, Raymond de Castelbouc, seigneur de château, refuse de partir en croisade. Son histoire est à l’origine de la légende qui aurait donné son nom au château. Celle-ci raconte que lors de la première croisade, alors que tous les seigneurs et les hommes de la région partirent en terre sainte, le seigneur, peu enclin à se battre choisi de rester au château. Le seigneur s’attira les faveurs des femmes des alentours, désespérées d’attendre les hommes partis en croisade. Il mit alors tout en œuvre pour combler le désir de ses dames, tant et si bien qu’il en mourut d’épuisement. Après sa mort, un bouc, symbole de virilité mais aussi du diable, apparu au-dessus du château, pour s’évanouir à travers l’horizon.