Un père peut -il prendre son enfant quand il le veut ?

Bonjour, je suis séparé du père de ma fille, nous sommes passés devant un jaf et j'ai donc la garde principale depuis 2010, le père a tout de même conservé son autorité parentale avec un droit de garde de d'hébergement classique (un w-e sur 2 et la moitié des vacances scolaires). Notre fille a bientot 4 ans elle est donc en maternelle, depuis les grandes vacances d'été, elle n'aura pas vu son père car ce dernier ne pouvait pas la prendre pour diverses raisons. Mais hier il s'est passé un fait très grave selon moi.a 15h il essaie de me contacté pour me demandé s'il peut venir cherché sa fille a l'école et la prendre toute la journée du mercredi et la ramener a l'école le jeudi. je lui est gentiment expliqué que je n'était pas d'accord car la petite ne s'était pas préparée a partir mais que si toutefois il voulait la prendre a partir du mercredi matin je ne m'y opposerai pas. Il m'a dit non cela ne m'arrange pas. je lui ai dit on verra la semaine prochaine alors car la on ne s'y est pas préparé. En allant chercher ma fille a l'école je trouve le pere de ma fille il a attendu que je sorte de l'école et nous a littéralement séparés et disant c'est ma fille ça fait 1 mois que je ne l'est pas vu .
Je me suis donc rendu au commissariat et c'est a ma grande surprise qu'on m'avait dit que j'avais tord !que le pere était tout a fait dans son droit, alors expliqué moi??? un jugement est censé mettre un cadre alors si le père viens cherché son enfant comme bon il le semble?? comment dois-je faire dois-je réellement accepter ce genre de comportement ??? et la petite dans tous ça ??? d'autant plus que le père ne me verse plus de pension alimentaire ! merci beaucoup pour vos réponses j'ai besoin d'aide