maison louée quasiement insalubre

Bonjour,
Nous sommes locataire d'une maison louée par une agence.
Le propriétaire de la maison est sous tutelle.
Lors de l'état des lieu (qui a duré plus de 3 heures...) nous avons constaté et fait constaté au responsable de l'agence (qui était présent) que beaucoup de travaux étaient à réaliser :
- pour l'intérieur : réfection des murs et plafonds, rebouchage des trous, décrassage des boiseries et pleintes traitement des champigons dans la SDB ainsi qu'au plafond de cuisine suite à une fuite de la toiture... remplacement de certains robinet, chauffage, électricité...
- pour l'extérieur : nettoyage et débroussaillage, coupe des arbres (le terrain était laissé en friche depuis un certain temps, l'herbe était haute de 80 cm...)
Photos à l'appuie, nous avons signé le bail.
L'agence dans un premier temps nous accordait 1,5 mois de loyer pour entreprendre les travaux puis c'est ravisé car la tutelle n'était pas d'accord de lacher un sou.
Dans un second temps, l'agence nous a donné l'accord en nous disant que les frais (qu'on a avancé) seraient déduits (environ 1000€ facture à l'appui) du loyer petit à petit avec un plus pour la main d'oeuvre.
Cela fait presque 6 mois que nous payons tous les mois un loyer pour cette maison et toujours pas de geste de la part de l'agence.
De plus l'agence devaient s'occuper de faire faire certains travaux et à part le passage d'un artisant qui travaille aussi bien qu'un mancho ainsi que des entreprises pour faire des devis... nous n'avons vu personne pour les travaux.
Nous commençons un peu à saturer...
Que pouvons-nous faire? Quel recours avons-nous?
Merci d'avance!