Le Vicomte Gaulthier, sous les ordres de Richard Coeur de Lion, participe à la première croisade oû il obtient le droit aux armoiries. Pendant les troubles cathares aux cotés du Comte de Toulouse, ils sont dépossédés de leur biens après la défaite du parti cathare en 1244. Ils deviennent mercenaires ou chevaliers brigands pour survivre. La Vicomté passe peu aprés au grand-maitre des arbalatriers de France Jean Galard. Quand la guerre de 100 ans éclate, Galard passe aux anglais et est remplacé par le Maréchal Boucicault. Les anglais assiègent le chateau et l'occupent. A cette époque, le Prince Noir campe avec ses troupes à Montauban. Boucicault revend ses droits sur la Vicomté occupée. L'acheteur s'appelle Bertrand de Terrides , et avec son frère le Batard, il entame une guerre personnelle qui durera 20 ans. A la fin des combats, les Terrides gouvernent une région vaste comme deux départements.