Probleme suite congé donné au locataire

Bonjour,
Je vous explique ma situation, j'ai donné congé à mon locataire en décembre 2013 afin de récupérer les lieux pour que mes parents y habitent. Les locataires ont quitté les lieux en avril 2014.
L'appartement était très ancien et le système de chauffage à changer. Nous avons commencé de gros travaux de rénovation mais nous avons dû arrêter pour nous consacrer à un autre logement (investissement locatif) très ancien. En effet le locataire est parti subitement avec un préavis de 1 mois pour des raisons professionnelles. Nous avons privilégié les travaux de ce logement pour vite le relouer.
Une fois terminé, nous avons repris les travaux de l'appartement initial et nous pensons terminer les travaux d'ici le début de l'été.
Cela fait donc 2 ans que nous avons donné congé aux locataires et nous avons bientôt fini la rénovation.
La rénovation a pris beaucoup plus de temps que prévu et beaucoup de chose se sont passés en 2 ans, mes parents ne souhaitent plus vivre dans le logement.
Le locataire m'a déjà menacé du temps que nous mettons a rénover et compte nous amener au tribunal si mes parents n'y habitent pas. Alors qu'il sait très bien que TOUT était à refaire.
Avec ces 2 années passées, le fait que nous avons du rénover un autre logement entre temps et que mes parents ne sont pas arrivés à vendre leur maison et ont donc abandonné, est ce que je risque quelque chose pour "congé frauduleux" ? (les anciens locataires me menacent pour ça alors que ce n'est pas du tout le cas)
Si oui avez vous plus d'informations ?
Merci d'avance
Cordialement,

Bonjour,
Effectivement, le locataire est ici en droit de faire valoir le congé frauduleux puisque vos parents n'ont pas fait du logement leur résidence principale dans un délai raisonnable.