Locataire - dépôt de garantie sans provision + loyer impayé

Bonjour,

Je suis propriétaire d'un studio meublé et j'ai signé un bail avec un locataire le 07/05/2020. Loyer 270€ + 20€ de charges. Le locataire a des aides au logement à hauteur de 200€ qui vont m'être versées par la CAF directement.
Ce jour là, il m'a remis un chèque de dépôt de garantie (1 mois de loyer) + le loyer du mois de mai (au prorata) en liquide. Le locataire est couvert par une garantie Visale.
Le chèque de dépôt de garantie m'est revenu sans provision, et le locataire ne m'a pas payé le mois de juin... Je vous passe les explications et promesses d'usage. je lui ai envoyé un courrier recommandé pour ces deux problèmes, et n'ayant pas encore reçu le retour du recommandé, je suppose qu'il n'est pas allé le chercher.
Pour les loyers impayés, je vais faire appel à Visale dés que les sommes dues seront égales à 1 mois de loyer plein (c'est leur procédure). Pour le dépôt de garantie sans provisions, je suis démuni...
Bien sûr je souhaite le voir partir au plus vite, ce qu'il refuse. D'autant qu'il est source de bruit et dérangement dans l'immeuble.
Quels sont mes recours et quels conseils pourriez vous me donner ?
Merci par avance pour vos conseils.
Cordialement,

Je crois que l'unique solution est de passer par l'huissier pour suivre la procédure .afin de le faire partir .