XVIe siècle et fut probablement construit par Jean Le Veneur.
Le château sera resté cinq siècles propriété de la noble famille Le Veneur, très exactement jusqu’au , date à laquelle Marie Gaston Tanneguy IX, comte Le Veneur de Tillières, n’ayant pas de descendance mâle et subissant le déclin de l'économie rurale de cet entre-deux-guerres, se verra contraint de céder le château à l’État qui, dès 1927, l’avait classé parmi les monuments historiques, et ce pour la modique somme de 200 000 francs.
Aujourd'hui, le château de Carrouges est ouvert à la visite du public et sert de cadre à différentes manifestations culturelles.