Droit d'un locataire face à son propriétaire

Bonjour,
Je loue une maison depuis le 5 novembre 2009, j'ai décidé de déménager et j'ai averti mon propriétaire par lettre R avec AR fin mai en lui donnant ma dédite pour fin Aout ( 3 mois ).
Le propriétaire depuis nous à demandé de faire quelques travaux d'entretien dans la propriété, chose que j'ai accepté à condition que je sache quel jour il venait.
La semaine dernière en arrivant chez moi j'ai trouvé le portail et le garage ouvert et le propriétaire de m'expliquer qu'il m'avait averti (faux).
Entre temps je n'habite plus cette maison mais je conserve un atelier de bricolage que je n'ai pas encore débarrassé. Ce matin en arrivant à la maison le propriétaire était de nouveau dans les lieux, les portes ouvertes en ce servant de l'électricité de l'eau ect....Je dépose une échelle dans mon garage et je reviens à la maison cet après midi et je trouve le propriétaire sur un échafaudage en ayant emprunté cette échelle qui du reste n'est pas à moi.
Ma question: es ce que je peux refuser de payer le loyer? vu qu'il reprends possession des lieux sans avertir, es ce que le bail peut être cassé? et par quel moyen?
Je vous remercie très sincèrement de votre aide car je ne suis pas juriste mais je pense que le propriétaire a largement dépassé les limites de ma compréhension.
Sincères salutations, Jean Godard