interdit d'amenager combles

bonjour
le 29mai 2009 nous avons acheté une maison mitoyenne avec combles amenageables il faut juste une demande prealable pour les velux.
nous avons signé pleins de papier que le notaire nous a lu vite fais car il y a une marniere a 30m de la maison donc c'est beaucoup de papier.
nous avons donc commencé les travaux pour faire du grenier 4chambres un wc nous avons appeler la dde car j'avais du mal a remplir le dossier prealable ils m'ont dis que c'etait un permis de construire pour + de 20m² donc j'appel le maire qui me dis qu'en effet c'est permis de construire et il sera refuser car il y a la marniere la je tombe de haut c'est notre premier achat nous avons acheter la maison car il y avait un grenier amenageable apparement on a juste droit de faire des travaux de conformite, nous avions des projets qui tombe a l'eau
avant de mettre la maison en vente l'agent immobillier a ete en mairie pour savoir si le grenier pouvait etre amenager, le maire a repondu oui si les velux etaient noir car il y a un monument historique et il faudrait un dossier prealable
y a t il un recours possible car la on est décu perdu on essai d'avoir un 2eme enfant et il n'aura pas de chanbre car c'etait sensé etre la haut une fois tout amenager nous continuons les travaux mais que faire?
en plus dans les papiers signer c'est bien marquer qu'on a pas le droit de construire mais personne nous l'avait dis
aidez nous svp