Propriétaire ne répondant pas aux appels pour état des lieux

Bonjour à tous,

Etant étudiant, je suis depuis le 01 juillet 2011 en colocation avec un ami dans un appartement à Angers.

Voyant la fin de nos études arrivées, nous avons avec mon colocataire déposé notre préavis de départ du logement le 09 janvier 2012, afin de quitter le logement le 09 avril 2012 (après nos examens). Nous avons envoyé chacun notre préavis en recommandé+AR. Le courrier nous est revenu quelques semaine plus tard, le propriétaire n'étant pas allé le chercher suite à l'avis de passage reçu.
Peu importe, nous l'avions par ailleurs informé par texto de ce préavis, et celui-ci l'avait accepté. Après avoir reçu notre recommandé qui nous était revenu, nous l'en avons informé et nous a expliqué qu'il n'avait pas eu le temps d'aller le chercher mais qu'il avait bien pris note de notre départ.

Un mois avant la date de départ prévue, nous l'avons contacté à plusieurs reprises (par téléphone d'abord, puis par mail puisqu'il fonctionne beaucoup par ce moyen) afin de convenir d'une date pour l'état des lieux de sortie.
Après l'avoir relancé de nombreuses fois afin d'obtenir une réponse, nous lui avons proposé 2 dates : le 07 avril et le 09 avril. Il a accepté la date du 07 avril (avançant ainsi le départ de 2 jours).

Le 7 avril, l'appartement était vide et prêt à être rendu, j'ai donc attendu toute la journée sur place afin d'être présent au rendez-vous de 18h (mon colocataire ne pouvant être là, il m'avait fait procuration pour la signature de l'état des lieux).

Le propriétaire n'est jamais venu, et ce malgré mes nombreuses appels.

Depuis, nous le relançons, moi et mon colocataire, presque tous les jours par mail et/ou téléphone (en lui laissant de nombreux messages) mais celui-ci ne répond pas.

Cela fait maintenant plus de 15 jours que cette situation dure, et nous handicape dans la mesure où nous devrons nous re-déplacer à Angers (100km de mon lieu d'habitation actuel pour moi, encore plus pour mon colocataire) afin de refaire l'état des lieux, lorsque le propriétaire aura décidé de nous répondre.

Quels recours pouvons-nous avoir afin de le forcer à venir, et pouvoir ainsi récupérer notre caution et en finir avec cet appartement ?

PS : J'avais prévenu le propriétaire que je mettais fin au virement mensuel du loyer et que je réglerai le restant le jour de l'état des lieux (par précaution, mon colocataire avait réglé 2 fois trop de loyer pour le mois d'avril, ce qui peut s'assimiler au paiement complet...).