Caducité de prêt immobilier

Bonjour,

Voici mon problème.

Mon mari et moi avons signé une offre de prêt pour la construction de notre maison en juin 2010 (nous avions déjà le terrain). Suite à cela, la maison a pris du retard car nous avons modifié un peu les plans et les devis ont été longs à arriver. En Janvier 2011, mon mari passe à la banque, notre conseiller le croise et lui lance "votre prêt est caduque, il va falloir qu'on se voit". Nous tombons des nues car nous n'avions jamais entendu d'une limite pour débloquer le pret... D'après l'offre de prêt, le prêt est caduque au bout de 4 mois en effet, si le Contrat pour lequel le prêt est demandé n'a pas été conclu. Or, le Contrat de construction a bien été signé. Ce que l'on me reproche c'est de ne pas avoir débloqué de fonds, or cela n'est stipulé nul part.
La banque serait prêt à faire un effort, mais ce serait au niveau du PTZ que cela bloque. Il n'est plus possible de pouvoir en bénéficier. Or, dans les clauses du PTZ, il n'y a aucune spécification d'un déblocage des fonds rapides.
De plus, des fonds ont été débloqués! Nous avons payé une facture de 2500 euros en septembre avec les fonds du prêt employeur que nous avions reçu directement sur notre compte. Or, le prêt employeur fait partie intégrante du plan de financement de l'offre de prêt. Dès lors, j'estime avoir débloqué des fonds, payés avec fonds propres, mais des fonds quand même. Nous sommes déjà en train de rembourser le prêt employeur de ce fait. Nous payons aussi l'assurance depuis juin 2010.
Je m'attache à ce prêt car si nous devions en refaire aujourd'hui, on perdrait énormément d'argent.
Suis-je dans mon droit de penser que mon prêt devrait toujours être en vigueur?
Merci