Bienvenue et bonjour
Tant que vous n'avez pas déclaré le changement d'affectation au cadastre, (doit se faire dans les 90 jours de la réalisation du changement de destination)...
https://www.impots.gouv.fr/portail/node/9118
... je pense que vous pouvez faire un courrier au service de l'urbanisme, avec copie de leur réponse, pour les informer que vous abandonnez le projet.
__________________________
Les CGU évoquent le fondement juridique des réponses, il s'agit de références (code, n° d'article par ex.)... Inutile d'en recopier le texte, une synthèse avec vos propres mots simplifie la compréhension, avec un peu d'empathie et d' humilité.