D’abord mentionné en tant que « villa » ou grand domaine rural au tout début du XIème siècle, le château des Salelles ne fut cité en tant que tel qu’en 1524, en tant que propriété d’Antoine Bompars. La demeure fut probablement agrandie à la fin du XVIIème ou au début du XVIIIème.
Le château a souffert des guerres de religion : en 1585, des Huguenots l’occupent tandis que les catholiques tentent de le reprendre. En 1642, Jean de Jurquet en est propriétaire. A la fin du XVIIIème siècle, le château deviendra propriété de la famille Isarn de Freissinet Valady, qui possède aussi le château de Saint-Saturnin. Louis Philippe d’Isarn de Freissinet, chevalier du compte de Valady se marie ensuite avec Jeanne Brigitte de Jurquet de Montjézieu, fille du Vicomte de Grèzes, Seigneurs des Salelles et de La Canourgue. En 1792, la famille Isarn de Freissinet vend le château à Jean-Joseph Boudon de la Roquette. En 1808, Louise Boudon de la Roquette s’unie avec Pierre Barthélémy Joseph de Nogaret. La famille de Nogaret se séparera quelques années plus tard du château en le vendant à des religieuses, tandis que les terres seront vendues à la famille Valentin.
De nos jour, le château de Salelles, remarquablement restauré, est un hôtel restaurant qui accueille également les pélerins de Saint-Guilhem descendus de l’Aubrac et en route pour le Causse de Sauveterre. Il est inscrit au titre des Monuments Historiques.