Bonjour,
Si votre bail prévoit une clôture et un portail, vous êtes parfaitement en droit de les exiger, ou bien de demander un rabais sur le loyer.
Sans action de votre part pendant 4 ans, le propriétaire considère probablement que vous vous contentez de la situation.
Une page utile ici avec un modèle de lettre.
https://www.service-public.fr/particuliers/vosdroits/F31699
PS : Si vous changez de propriétaire, ou encore qu'il est de (très) mauvaise foi, il peut lors de votre départ vous accuser de les avoir enlevés !!! Il est donc important au moins de formuler par courrier RAR votre demande de mise en conformité avec le bail.