URGENT!L'employeur peut-il imposer des congés payés sans préavis?

Bonjour!
Employée dans une association, le délégué général, qui ne me supporte pas (nous ne sommes que 2 employés) m'a congédiée une semaine avant la fin de mon contrat (CDD), après m'avoir remplacée encore une semaine auparavant, du jour au lendemain.
Il m'a dit le vendredi soir (le 18-09-09) au moment de mon départ qu'il n'était plus utile que je revienne le lundi. Sans me donner plus d'explication. Aujourd'hui, après avoir bataillé pour qu'il m'ouvre la porte, je lui ai donc demandé de me signer une décharge indiquant qu'il me dispensait de me présenter à mon travail pour la semaine du 21 au 25 septembre 2009 puisqu'il avait déjà embauché une personne pour me remplacer mais que je percevrais tout de même ma rémunération normalement. Il a refusé disant que je prenais là mes congés payés, qu'il m'imposait de fait, et il m'a interdit de revenir.
Je risque donc de perdre le montant de ces congés payés qui auraient dû être normalement payés à la fin de mon contrat. Etant au smic et bientôt au chômage, même modeste, cette somme a une importance pour moi..
Ma question est donc simple, a-t-il le droit de m'imposer sans préavis des congés payés?
Je dois le voir lundi prochain pour les formalités de fin de contrat. Je suis toute seule, et je suis mal armée. Que puis-je faire? Le temps presse...

Merci beaucoup!!