Carnet de bord de l’ouverture des données de la Ville d’Eu

par Emma Bert, Manon B., Elodie Collot, Emma Ponroy, Sacha Fontaine et Garance Colette

Illustration réalisée par Anne-Cécile Calléjon

JOUR 1 – DIAGNOSTIC

La ville de Eu est une commune française qui se situe dans le département de la Seine-Maritime en région Normandie. Elle appartient à l’intercommunalité dénommée la Communauté des Communes des Villes Soeurs.

Notre entretien téléphonique s’est déroulé avec notre interlocuteur, un responsable informatique. A l’issue de notre questionnaire, nous avons pu déterminer les objectifs à atteindre ainsi que les motivations qui ont poussé la commune à s’inscrire au Data Challenge.

La municipalité de la commune de Eu est composée de 200 agents. A l’heure actuelle, aucun service n’est dédié à la politique de l’Open Data. En effet, le Challenge Data organisé en partenariat avec les étudiants de Sciences Po Saint-Germain constitue une occasion pour mettre en place un premier système de collecte de données et de pérenniser cette pratique sur le long terme. Certaines données sont déjà disponibles sur le site de la ville, sur les réseaux sociaux (page Facebook) ainsi que via l’application de la commune. Cependant, elles se limitent pour la plupart du temps à des comptes-rendus municipaux et n’ont pas été réalisées selon les critères gouvernementaux.

Les difficultés à la mise en place d’un tel système sont notamment liées au manque de temps et de moyens de la municipalité. Notre interlocuteur insiste ainsi sur la volonté d’automatiser ces récoltes de données afin de fournir des services complets et efficaces aux administrés. A partir de ces informations, nous avons pu établir avec notre interlocuteur une liste des jeux de données les plus pertinents à traiter. Au vue de l’état peu avancé de la politique de l’Open Data dans la ville de Eu, nous nous sommes limités aux données de niveau 1 qui relèvent d’une obligation légale de publication :

A la suite de notre rendez-vous téléphonique, les réponses à notre questionnaire ont été retranscrites sur Airtable et nous avons pu déterminer le niveau de maturité de la commune de Eu : celle-ci correspond ainsi au niveau 2.

Afin d’obtenir les bases de données pré-existantes, notre interlocuteur nous a transmis le contact d’une personne responsable du service de la communication. Nous n’avons pas réussi à la contacter, celle-ci n’étant pas disponible. De plus, nous devions passer par l’intermédiaire d’une standardiste qui, n’étant pas au courant de notre mission, manifestait de la méfiance à notre égard.

Dans l’après-midi, nous avons appelé un membre de la direction générale des services qui nous a invité à prendre contact avec une contrôleuse de gestion. Cette dernière doit nous transmettre dans la journée les bases de données liées au budget primitif, aux délibérations et aux subventions.

Nous avons réussi à contacter par la suite le service de communication. La personne nous a indiqué que les bases de données liées au budget primitif et aux délibérations étaient disponibles sur le site internet. Elle doit nous transmettre les résultats des élections présidentielles. Les subventions sont intégrées aux comptes-rendus municipaux. Cependant, les données liées aux prénoms des nouveaux-nés sont compliquées à obtenir car il n’y a pas de maternité dans la commune. De même pour les données concernant les emprunts de livre, celles-ci ne relevant pas de la municipalité mais de l’associatif. Ainsi, à l’issue de cette conversation, nous avons radié de notre wishlist deux jeux de données : les prénoms des nouveaux-nés ainsi que les emprunts de livres.

Le principal obstacle dans la prise de contact réside dans la difficulté à obtenir des données exploitables : nos interlocuteurs souhaitent nous transmettre des données en ligne ou en pdf et non des tableaux Excel. Pour récupérer des fichiers utilisables, nous avons à nouveau contacté notre interlocuteur afin de clarifier ce point auprès de l’équipe municipale.

Nous avons à nouveau contacté de notre côté le service communication pour lui demander des fichiers Excel. Nous en avons profité pour lui demander de nouvelles bases de données sur les marchés publics et les équipements collectifs. Nous avons réclamé les bases de données disponibles concernant les actes civils depuis 2012 et avons souligné la nécessité d’avoir des détails concernant les délibérations (par exemple les “pour”, les “contre”, les abstentions).

JOUR 2 – IDENTIFICATION

Nous avons reçu hier soir 13 fichiers excel. Le recueil des actes administratifs mois par mois de l’année 2020 ainsi qu’une présentation du budget 2020.

Nous avons envoyé un mail à notre interlocuteur avec la wishlist en pièce jointe, en lui expliquant qu’il nous manque encore la majorité des données nécessaires, et en lui demandant s’il était possible d’avoir un retour aujourd’hui pour que nous puissions avancer sereinement.
Pour être plus efficaces, nous décidons de changer d’interlocuteurs privilégiés. En effet, passer principalement par le service communication semble être une perte d’efficacité, nous décidons donc de passer aujourd’hui par les services dédiés (Finance, Urbanisme…). Ces derniers étant tous en réunion ce matin, le secrétariat nous a indiqué d’appeler une heure plus tard à 11:30.

Le budget que nous avons reçu est un budget global mais pour remplir le template nous avons besoin du budget détaillé, donc nous allons passer par le service finance pour l’avoir, et nous en profitons en même temps pour demander les données détaillées des subventions et du marché public.
Une personne responsable des finances nous a répondu et va nous envoyer le budget détaillé et le marché public, puis elle nous a renvoyé vers un membre du Secrétariat Général pour que l’on puisse avoir les subventions. Ce dernier n’était pas au courant de notre mission ni de notre existence, mais il nous enverra les subventions aujourd’hui tout de même.

Nous sommes entré.es de nouveau en contact avec un membre de l’administration qui nous a indiqué avoir envoyé les données d’états civils au service communication qui allait nous les envoyer, on a précisé que c’était plus simple pour nous de nous mettre directement en copie.

Cette personne nous a également indiqué qui était les personnes adéquates pour les données manquantes (service élection et service technique pour les équipements publics).

Nous avons reçu la plupart des bases de données juste avant midi, sous le format d’un tableau word.

On doit demander de nouveau le numéro d’identifiant préfecture ainsi que le numéro Siret de la ville.
En ce qui concerne les délibérations, il manque le détail des votes.
Nous avons eu un membre du service urbanisme qui va faire en sorte d’avoir un fichier Excel concernant les équipements collectifs publics, mais qui n’avait pas l’air très au courant de notre mission mais a indiqué avoir reçu un mail de notre interlocuteur.

Ensuite nous avons eu un appel avec notre interlocuteur : Il a indiqué avoir envoyé fait suivre le mail pour prévenir de notre mission et du fait qu’on a besoin de coup de pouce pour avoir des réponses plus rapidement. Nous l’avons tenu au courant de notre avancée et de ce qu’il nous restait à faire, il a pu nous aiguiller vers de nouvelles personnes pour récupérer d’autres données.

En ce qui concerne la base de données sur les actes d’état civils, nous avons remarqué que la mise en forme n’est pas du tout optimale ni conforme aux règles. Il y a un code couleur par année, ce qui rend le traitement impossible, on a donc décidé d’abandonner.

Il manque beaucoup de données sur le fichier des marchés publics :
l’ID du marché ; le marché U ; les acheteurs ID ; Nom des acheteurs ; le CPV Code (id de l’objet du marché) ; Procédure ; Lieu exec code (7610 ?) code du bureau centralisateur du canton ; Durée ; date de notification ; date de publication ; montant.
Nous avons donc rappelé une dame pour avoir un accès à ces informations, étant absente demain, nous aurons les fichiers seulement jeudi.

En ce qui concerne les équipements publics, nous avons utilisé la base de données de l’INSEE car la commune n’avait rien à fournir. Nous rencontrons des difficultés de formats avec le fichier téléchargé et l’importation sur Workbench. Grâce à Magalie nous avons pu enfin l’ouvrir après plusieurs essais.
Un membre du service technique nous a indiqué que les seuls documents EXCEL qu’il pouvait nous fournir étaient obsolètes (certains établissements n’existant plus ou ayant changé de propriétaires, etc). Il a accès aux données concernant les équipements collectifs via le progiciel Atal et n’est pas en mesure de nous les fournir. En effet, celui-ci ne peut nous fournir la liste qu’en format PDF et il est impossible de nous transmettre les adresses car il lui faudrait cliquer sur la fiche de chaque établissement collectif et créer des fichiers PDF pour chacun.
La personne du service de communication nous a envoyé en fin de journée un document listant les ERP (établissements recevant du public) et nous devons le comparer demain aux données trouvées sur l’INSEE.

Pour les subventions, il y a eu un problème de communication avec le Secrétariat Général et de compréhension, nous avions du mal à faire entendre quelles étaient les données que l’on voulait (Il faut les subventions attribuées). Plusieurs fois on nous a dit que nous les avions déjà, ou qu’ils ne nous les donneront pas (le secrétariat général pensait qu’on voulait les dossiers de subventions, mais une contrôleuse de gestion nous a envoyé le document nécessaire dans un large pdf).
Nous avons finalement réussi à mettre les données sur Workbench, mais il manque: la date exacte de convention, l’identifiant attribuant, l’identifiant du bénéficiaire, la nature, les objets, les conditions de versements et leur date (mais étant donné la taille de la collectivité, peut-être que ce sont toujours des versements uniques),
La référence de la décision n’est pas en bonne forme

Nous avons reçu des fichiers pour le CA avec de nombreuses pages pour remplir le budget primitif. Sur certaines pages on trouve des tableaux détaillés, mais le travail semble fastidieux (copier les tableaux intéressants, 1 par 1).

Pour les fichiers des élections, on nous dit qu’ils sont disponibles sur le site de la préfecture, mais nous avons besoin des détails par bureau de vote, une personne du service élection est donc censée nous les faire parvenir.

wishlist

Livrable : Whishlist

JOUR 3 – MISE EN QUALITÉ

Nous commençons la journée en faisant un petit point sur les éléments manquant des différents jeux de données. Dès lors, nous nous répartissons les tâches. Elodie est chargée d’optimiser le workbench sur les délibérations et Manon recherche les données sur les élections présidentielles, prétendument présents sur le site du Ministère de l’Intérieur. Sacha et Emma B. traitent les données sur le budget primitif et Garance harmonise les noms de fichiers. Enfin, Emma P. effectue une comparaison entre la base de données des équipements collectifs fournie par la ville et celle issue de l’INSEE dans le but d’une éventuelle fusion des deux sur le workbench.

Magalie a montré deux logiciels à Emma P. et Garance: OpenstreetMap et OSM data. Malheureusement, ces logiciels n’ont pas pu servir pour le traitement des données de géolocalisation dans la mesure où les informations sur le ville de Eu étaient incomplètes. Emma P. et Garance ont alors cherché les équipements au fur et à mesure dans Google Maps dans l’espoir de trouver les adresses, et donc les coordonnées géographiques. Il demeure 12 coordonnées introuvables, nous appellerons à la réouverture de la mairie à 13h30 pour tenter de collecter les informations manquantes.

Emma P. a contacté le service communication et elles ont pu ensemble corriger et remplir les coordonnées géographiques des équipements collectifs publics. Ce fut compliqué car beaucoup d’indications de Google Maps étaient erronées ou inexistantes. Enfin, nous avons pu compléter le workbench des équipements. Ensuite, Garance et Emma P. ont tenté de contacter le service communication ou toute personne pouvant détenir des informations sur les subventions car il manque toujours beaucoup de données. Malheureusement, personne n’était disponible et nous allons devoir nous rappeler demain.

Elodie a nettoyé et standardisé le jeu de données sur les délibérations avec la nomenclature notamment. Pour l’ID, elle est dans l’attente de la préfecture, qu’elle a contactée antérieurement. On sait désormais que les votes sont des données optionnelles, comme indiqué sur le document standard. Cependant, un problème persiste, celui du budget car les données devraient supposément être optionnelles mais il apparaît que l’on ne peut pas valider le jeu de données sans elle. Nous avons ensuite appelé une responsable des finances qui n’avait pas plus d’informations. La contrôleuse de gestion n’était pas disponible le mercredi non plus.

En ce qui concerne les résultats des élections présidentielles, différents agents de la mairie nous ont indiqué que les résultats étaient disponibles sur internet et qu’ils n’avaient pas d’autres données que celles-ci. Manon a donc dû les trouver sur le site internet du Ministère de l’Intérieur, en cliquant sur le département de la Seine-Maritime puis en cherchant la commune de EU (https://www.interieur.gouv.fr/Elections/Les-resultats/Presidentielles/elecresult__presidentielle-2017/(path)/presidentielle-2017/028/076/076255.html ). Il a ensuite fallu extraire les données du site et créer 4 fichiers EXCEL pour les y inscrire (un tableau pour la répartition des suffrages entre les candidats et un tableau pour la participation pour chacun des deux tours) et transférer le tout sur Workbench. Malheureusement, il n’y a pas assez de données disponibles. Néanmoins, Magalie a remarqué que dans le template, toutes les communes faisaient l’objet d’une ligne et que celle de la ville de EU devait également en avoir une. Ne réussissant pas à avoir accès au fichier d’origine du template, elle a renvoyé Manon vers Arthur qui devait avoir cette information et qui a pu remettre le fichier national d’origine. Manon a supprimé toutes les autres communes de France du fichier pour ne garder que la ligne concernant la commune de EU.

Sacha et Emma B. traitent les données sur le budget primitif à l’aide de deux bases de données : le budget primitif et le compte administratif. Ils ont traduit et croisé les données sur un fichier excel lui-même basé sur le template exemple du WorkBench, afin de créer la base de données finale du budget primitif. Ce fut très long et difficile et ils ne sont pas certains de pouvoir terminer à collecter toutes les données demandées par l’exemple du benchwork

Subventions : https://app.workbenchdata.com/workflows/132558

marché public : https://app.workbenchdata.com/workflows/132553

elections présidentielles : https://app.workbenchdata.com/workflows/132916/

equipements : https://app.workbenchdata.com/workflows/132666/

Délibérations (terminé) : https://app.workbenchdata.com/workflows/132599/

Budget primitif :

Organigramme

JOUR 4 – PUBLICATION

Afin de faire valider les bases de données et les fiches descriptives liées, nous devons aujourd’hui prendre rendez-vous avec notre interlocuteur, et voir avec lui pour créer un compte sur data. gouv, car il faut créer le compte avec ce dernier en tant qu’administrateur. Manon se charge donc d’appeler et prend rdv pour 14H. D’ici là nous souhaitons avoir standardisé toutes les questions et bases de données que nous avons en notre possession. Manon doit exporter le fichier élection et faire la fiche descriptive.

Cependant le fichier de la commune va quand même être publié car il reste intéressant pour les communes d’avoir certaines informations (des géo-localisations par exemple). Il faut donc que nous fassions valider la base de données équipements collectifs publics. De nombreuses difficultés sont apparues sur le workbench car il a fallu rajouter la colonne SIRET sans laquelle on ne peut pas passer par le logiciel validata et ce fut très long car pour le valider il fallait rajouter une colonne en faisant du codage python. Au final bien une bonne validation par validata. YOUHOU !

Nous pouvons la contacter demain à partir de midi pour lui communiquer le plan de com.

Prélancement : informer le service communication, les élus, le maire + leur expliciter les bénéfices politiques pour qu’ils les communiquent

Lancement: communication spontanée politique et informationnelles (réseaux)

Trois axes politiques (twitter et facebook) : transparence politique, améliorer l’information sur la ville pour faciliter l’accès des services aux citoyens; innovation technique dans l’air du temps.

Session d’information publique : facebook twitter et l’application = informer de la publication (avec liens vers les explications)

Linkedin = explications avec avantage pour les milieux d’affaires…..

=conférence de presse du maire pour expliquer la démarche

= explication des enjeux et détails sur site de la villes et journaux d’info : explications par les quotidiens des enjeux d’open data et de la raison de la démarche

= Publication des données/ mise en avant pour montrer leur avantages= visu avec cette mise en avant sur les réseaux.

Post lancement: évaluation

Manon a envoyé le plan de communication au service dédié.

JOUR 5 – VALORISATION

Dans un premier temps, il nous a fallu terminer les étapes d’hier.

A 9h, le service communication et notre interlocuteur ont appelé Manon ensemble au sujet du plan de communication. Ils étaient d’accord avec notre plan de communication mais souhaitaient qu’on le détaille. Aussi, ils ont précisé que la commune ne possédait pas de compte Linkedin. Notre interlocuteur a exprimé son souhait qu’on lui envoie les ressources explicatives par rapport à la publication des données afin qu’il puisse poursuivre le travail amorcé cette semaine par la suite.

Emma Ponroy et Manon ont travaillé à l’amélioration du plan de communication afin de le préciser. Pour pouvoir terminer la mindmap, Emma Bert a ajouté les liens data.gouv correspondant aux jeux de données. Après validation du plan de communication et de la mindmap par Magalie, nous les avons transmises à notre interlocuteur et à la communication de la ville.

Elodie a réussi à mettre notre interlocuteur en administrateur du compte de la commune d’Eu sur le site Data.Gouv.

Après avoir consulté les ressources de la journée, Sacha et Emma Bert se sont attelés à la datavisualisation du budget primitif. Leur choix s’est porté sur la réalisation d’un Treemap comme la vidéo du tutoriel le conseillait afin de représenter les poids des différents postes budgétaires de la commune. Sacha et Emma Bert ont rencontré un problème avec leur base de données. Ils se sont rendu compte que les écritures dans leur Workbench n’étaient pas uniformisées et qu’il y avait quelques trous dans les nombres car l’outil utilisé pour faire les datavisualisations n’acceptait pas leurs données chiffrées. Ils ont donc dû apporter des modifications à leur base de données publiée et la republier. Ils ont ensuite décidé de réaliser le Treemap via Raw Graph. Finalement, le Raw graph n’a pas voulu importer les fichiers lissés et uniformisés. Après plusieurs heures de tentatives, l’idée de créer une datavisualisation pour le budget a été abandonnée par manque de temps.

Concernant les datavisualisations associées aux données de délibérations, deux éléments semblent importants à Manon: d’abord, souligner les dates permet de faire ressortir la période du premier confinement pendant laquelle il n’y a pas eu de délibérations; ensuite, il est intéressant de s’intéresser aux matières sur lesquelles portent ces délibérations afin d’identifier des tendances relatives aux priorités de la commune. Par manque de temps, nous nous sommes concentrés sur la seule variable répartition des types de matières pour les délibérations. Emma Ponroy a réalisé via Excel le diagramme circulaire concernant la répartition des délibérations par matière. Sacha a rempli la fiche template associée.

Garance s’est penchée sur les datavisualisations liées aux données d’équipement et a réalisé une carte des équipements via OpenStreetMap. Elle a rencontré un certain nombre de difficultés, notamment pour entrer les fichiers sur le site car ceux-ci n’étaient pas aux normes. Magalie a dû lui refaire les fichiers en séparant la longitude de la latitude en deux colonnes distinctes. Aussi, elle a dû passer ensuite par un LibreOffice afin d’obtenir uniquement un certain type d’équipement et refaire des fichiers pour chaque catégorie (santé, éducation, etc.). Toutes ces étapes lui ont pris beaucoup de temps, notamment pour en comprendre le fonctionnement. Une fois que toutes les données étaient mises sur le site, elle a trouvé celui-ci intuitif, facile d’utilisation. Elle regrette le manque de temps qu’elle a ressenti et est frustrée de ne pas avoir pu produire une carte plus détaillée. Garance a ensuite rempli la fiche associée. Emma Ponroy a réalisé un diagramme circulaire concernant la répartition par type d’équipement via Excel. Manon a rempli la fiche associée à ce diagramme.

Comme deux de nos datavisualisations ont été réalisées via Excel, il nous a fallu créer des documents sur Google Drive ouvert à tous en mode lecture afin de récupérer les liens et les mettre sur le site Data.gouv afin de publier nos réutilisations de données.

Elodie a publié sur le site Data.Gouv nos trois réutilisations. Elle souligne que les modifications sont lentes à effectuer sur le compte Data.Gouv : il y a une certaine latence avant qu’une modification soit effective. Ainsi, des fichiers qu’elle avait supprimés ne se supprimaient pas tout de suite, elle devait renouveler l’opération.

CONCLUSION

Après une semaine intense, nous avons réussi à ouvrir 3 jeux de données. La principale difficulté à l’ouverture de ces jeux a été d’obtenir assez d’informations, celle demandée obligatoirement dans les templates. Or il est difficile d’obtenir les bons jeux de données, les données étant dispatchés dans différents services. Les collectivités tiennent des jeux de données de manière pratique sans forcément se poser la question de leur uniformité, sans les centraliser, ni tout regrouper.Certains jeux n’existent tout simplement pas en tant que tel. Notre collectivité étant petite, elle est d’autant plus encline à moins faire attention à la question des datas, et à se concentrer sur le côté pratique par manque de temps et de personnel formé. Il y a personne qui s’occupe en particulier des données. De plus, il semble que les services travaillent avec un logiciel qui centralise les informations seulement en PDF. Il n’est donc pas évident d’avoir accès à des fichiers excels. Ces données PDF sont donc inutilisables.

Le contact avec la collectivité a été difficile à cause du passage obligatoire par le standard. Du fait de la taille de la ville (7 000 habitants et 200 agents), les agents n’ont pas nécessairement de doublon. Ainsi nous avons rencontré des difficultés à joindre la plupart des services, les personnes étant absentes, en réunion, ne travaillant pas. Aussi nous avons mis beaucoup de temps à obtenir des jeux de données utilisables, certains même le jeudi, alors même qu’il était trop tard pour les traités. Certains agents n’étaient pas nécessairement au courant de notre démarche ou pas spécialement emballés, ni compréhensif ce qui ne nous a pas facilité la tâche. Nous avons aussi rencontré de nombreux problèmes techniques venant des ordinateurs à cause des logiciels, de la lourdeur des outils et du Gather. Un premier frein a aussi été la présence de deux templates incorrects qui nous ont induit en erreur et fait perdre du temps.

Même les données obtenues n’étaient pas nécessairement utilisables telles quelles, à part celle des délibérations, plutôt bien présentées et de bonnes qualités. Du côté du budget, comme des équipements collectifs, compiler différentes sources, les harmoniser ont été des passages difficiles et nécessaires. Par exemple, nous avons complété le fichier d’équipements collectifs de la commune avec celui de l’Insee, mais allier les deux fichiers, et retrouver les bonnes géolocalisation, les noms des équipements (absents dans les bases de l’Insee) a pris beaucoup de temps. Ce sont les agents qui ont permis lors de long appel de régler cette situation.

Ainsi, nous avons pu compter sur certains agents dont notre interlocuteur, la contrôleuse de gestion, et le service des finances (entre autres) qui ont été très présents et compréhensifs, nous ont indiqué, épaulé, et ont été assez réactifs. De plus, nous avons pu compter sur Magalie, qui nous a guidé, soutenu et aidé à chaque problème à chacune des étapes. Enfin, nous avons eu de notre côté une bonne coordination, de la solidarité et une bonne communication entre les membres du groupe, ce qui a permis de ne rien lâcher, de rattraper le temps perdu et de publier finalement ces données.

Notre plus gros casse tête :

Les outils ont été compliqué a utilisé néanmoins le plus gros casse tête fut la data sur Les élections présidentiels car les templates desquels été tiré les données étaient faux, et mal organisé. Après plusieurs heures de prises de tête, nous avons abandonné cette idée.

Notre plus grosse réussite : La compilation des budgets issus de 95 pages excels non trié n’a pas été une mince affaire et les données ont dû être compilées à la main pour répondre au standard or nous l’avons finalement validé au validata, avec peu de données manquantes et beaucoup d’entrées. Cela fut une vraie victoire au vu du travail effectué.

Ici, nous avons appris à maîtriser de nouveaux outils, qui pourront nous servir lors de stage. Nous avons été sensibilisés aux questions de data et seront dans nos emplois futurs, beaucoup plus connaisseurs des standards, des codes et de l’importance de les respecter. Nous avons aussi découvert le fonctionnement des collectivités, leur gestion de l’open data (difficile, inexistante), les problèmes de dialogue entre services, les asymétries d’informations et l’enfermement des services administratifs sur eux-mêmes. Nous avons aussi appris à ne jamais baisser les bras, à quel point il été difficile de gérer des données et qu’il est très dur de travailler sur des questions de données devant son écran, de communiquer toute la journée, d’être toujours sollicités.