Carnet de bord de l’ouverture des données de Caudebec-les-Elbeuf - groupe 10
par AMZAL Inès, RIBEIRO Clément, PAVARD Ulysse, DE LAFORCADE Etienne, SAHIN Serife, ALIFAT Solène
JOUR 1 – DIAGNOSTIC
Ce premier rapport se voulait professionnel, synthétique et concis. Mais en ce jour 5, alors que cette semaine mouvementée touche progressivement à sa fin, il semble bien trop rigide après ces journées où flexibilité et débrouillardise ont été omniprésentes. A vous lecteur, je vous laisse ce témoignage de notre état d’esprit du moment, dont vous constaterez le changement radical à mesure que les surprises, mésaventures et rétablissements se sont accumulés.
21/11/2022 : Prise de connaissance de la commune et de ses caractéristiques à 10h40 (environ 10 000 habitants, commune de Seine Maritime). Premier appel à notre correspondant, directeur de communication à 11h, peu disponible donc un rendez-vous téléphonique est fixé à midi. Lors de l’appel il s’avère que la commune n’a aucune expérience en open data, et fait appel à notre aide pour se faire une idée de la méthodologie à suivre pour publier des jeux de données. Nous tentons d’identifier des thématiques spécifiques, l’interlocuteur évoque les îlots de fraîcheur mais nous affirme qu’il ne dispose d’aucun fichier à partir duquel travailler (il pensait que nous allions les créer).
Nous fixons donc un nouvel appel à 16h pour convenir d’une wishlist et demandons à notre référente (Magalie) son avis sur la marche à suivre. Selon elle, l’interlocuteur n’a pas compris les enjeux du Data Challenge, elle se propose donc de nous aider à réagir, nous conseille d’écrire un mail au directeur de la communication et se joindra à nous pour notre appel. Nous profitons du début d’après midi pour identifier des données déjà accessibles au public sur le net (INSEE, journal local ou site de la municipalité). Nous parvenons donc à dégager une liste d’une quinzaine de secteurs sur lesquels nous devrions pouvoir créer des bases de données. L’appel de 16h sera en grande partie conduit par Magalie, car l’interlocuteur bien qu’ouvert à nos propositions ne semble pas disposer d’informations basiques. Nous n’avons donc pas pu établir une wishlist définitive
Un rapport bien lapidaire n’est ce pas ? Mais les éléments principaux du récit que les plumes de mes camarades vont dérouler de jour en jour sont déjà là : une incompréhension entre la municipalité et les étudiants quant aux objectifs du Challenge Data, une utilisation à plein régime du système D pour contourner les problèmes, et une adaptation constante des objectifs au vu d’une situation qui ne voulait décidément pas suivre le planning que Datactivist nous suggérait !
La wishlist établi le premier jour pour les groupes 9 et 10 (9 jeux souhaités chacun)!
Première réunion avec notre interlocuteur de Caudebec-Lès-Elbeuf, que le challenge data commence!
Briefing avec Allyson dès le matin pour motiver les troupes!!
JOUR 2 – IDENTIFICATION
Cette deuxième journée de Challenge Data s’annonçait quelque peu mouvementée pour l’équipe numéro 10. Nous le devinions plus ou moins, alors que nous écoutions avec une grande attention les instructions de nos référents datactivistes lors de la réunion matinale. Les résultats de la veille concernant notre collectivité, nous avaient placés en situation de « consultants » et nous savions qu’aujourd’hui, il nous fallait emprunter à peu de choses près, la casquette de « producteurs de données ». Nos camarades n’hésitèrent pas d’ailleurs à ironiser à plusieurs reprises : « Et si nous allions tous ensemble compter nous-mêmes les arbres à Caudebec-lès-Elbeuf ? ».
Quoi qu’il en soit, nous avions du pain sur la planche. C’est pourquoi nous nous mîmes immédiatement au travail -non sans aller chercher le traditionnel café noisette. En attendant que notre interlocuteur de la mairie caudebecaise nous transmette les données en sa possession, la majeure partie du travail matinal fut consacrée à la récolte de données sur les bases nationales. Notre interlocuteur n’ayant pas souhaité que nous contactions directement les services de la municipalité pour récupérer nous-mêmes les documents dont nous avions besoin auprès des services concernés, data.gouv et l’INSEE furent nos meilleurs alliés le matin. Eux, et bien sûr l’équipe 9, avec laquelle nous étions toujours en étroite collaboration. A chaque heure, nous nous consultions les uns les autres, pour savoir ce sur quoi chacun travaillait, ce qui avait été terminé et ce qu’il restait à faire. Grâce à l’entraide et à la solidarité, les jeux de données sur les naissances et décès, ceux sur les associations ou encore les écoles et la scolarisation à Caudebec-lès-Elbeuf, auparavant épars et bruts, commençaient de décorer les fichiers Excel auxquels ils étaient destinés. Nous nous réjouissions d’avance malgré nous sur le travail du lendemain…
A midi, notre appel téléphonique avec notre correspondant caudebecais fut repoussé d’une heure et trente minutes (en somme, il fut d’autant plus pertinent et efficace le ventre plein !). Cet échange permit de mettre au courant notre interlocuteur de la direction que prenait notre « Wanted data list » et de lui demander des nouvelles des fichiers de données qu’il devait se procurer pour nous. Quelques minutes plus tard, nous recevions quatre fichiers de données sur les commerces, les effectifs scolaires, les subventions aux associations et le tableau du conseil municipal, qui ne nous demandaient que quelques petits efforts de recherche pour être complétés.
Vers 15 heures, nous estimions que nous disposions d’assez de jeux de données dans notre « Wanted data list », qui nous semblait de plus en plus claire : 10. J’abandonnai pour ma part l’idée d’un nouveau fichier sur le logement, pour lequel je manquais de chiffres, et nous privilégiâmes l’idée de demander d’autres fichiers à notre interlocuteur concernant des thématiques qui nous semblaient plus importantes et laissées de côté, telle que l’environnement avec les arbres urbains. Il fut convenu que nous l’évoquerions dans notre mail final adressé à notre contact en fin de journée ayant pour objet de lui soumettre la « Wanted to do list ».
Nous terminâmes notre journée par un charmant organigramme que voici, sur lequel manquent les noms des producteurs puisque c’est notre élu qui récupérait les données en interne et qu’il nous était ainsi impossible d’obtenir leurs noms ni leurs coordonnées.
A 17 heures, nous quittions nos bureaux de la salle D01, tous à la fois fatigués par une journée de travail chargée, et joyeux d’avoir accompli nos missions de la journée tout en apprenant à gérer de nouveaux outils tels que Mindmap. Nous étions avant tout conscients que le mot d’ordre de la journée fut celui de la solidarité, c’est grâce à elle et à l’esprit d’équipe que nous sommes arrivés à bout de nos difficultés !
-Toujours dans la joie et la bonne humeur, équipes 9 et 10.
Challenge Data, jour 2.
JOUR 3 – MISE EN QUALITÉ
Jour 3 : ce matin, les troupes sont motivées ! Après une bonne nuit de sommeil, bercée par nos doux rêves de tableaux Excel, nous sommes d’aplomb pour cette nouvelle journée. Nous nous attelons à la lecture attentive de l’open Data Canvas et organisons une petite réunion avec nos désormais fidèles acolytes, le groupe 9. Avec ce dernier, nous nous répartissons les tâches : certains continuent de récolter des données (grâce aux bases de données nationales ou en complétant les fichiers donnés par notre interlocuteur), certains compilent différents fichiers ensemble, ou au contraire les séparent (associations et subventions sont devenus deux fichiers distincts), d’autres standardisent les fichiers de données, grâce aux modèles dont nous disposons. Enfin, deux personnes se chargent de commencer la validation des données pour les fichiers qui nous semblent tout beaux, tout propres !
Première difficulté de la journée : le validateur ne pourra servir que pour deux ou trois jeux de données, et en plus … nous n’arrivons pas à le faire fonctionner ! Si les loups sortent des murs nous ne sommes pas prêts… Ayant appris des jours précédents que rien ne sert de désespérer et qu’on se relève toujours quand une donnée nous met KO, nous gardons la tête haute ! Magalie nous donne le lien d’un autre validateur (https://publier.etalab.studio/), qui cette fois-ci fonctionne ! Nous passons alors un premier fichier de données sur les bornes de recharge électrique à l’épreuve tant redoutée du validateur. Et là …
1000 erreurs !!! Alors que le tableau Excel ne faisait que 3 lignes ! Mais nous ne cédons pas à la panique. La plupart des erreurs s’expliquaient simplement par les lignes vides qu’il fallait supprimer. Nous devions aussi mettre « true » ou « false » à la place de « oui » ou « non », et quelques autres détails de la sorte à corriger. En apparence, rien de plus simple, mais ne vous fiez pas au gentil sourire de ce validateur sournois ! Nous passons plusieurs heures à comprendre ce que voulait le validateur : plusieurs erreurs persistaient même après les avoir corrigées, et beaucoup de mystères semblaient impossibles à percer. Jusqu’à ce que …
Nous laissons éclater notre joie ! Nous ne pensions plus voir un jour cette page apparaître ! Première étape, fait ! En attendant, les autres membres des groupes 9 et 10 travaillent toujours en étroite collaboration et ont bien avancé sur les étapes de nettoyage, de compilation et de standardisation des données. Autour de la pause déjeuner, la plupart des fichiers étaient prêts à être validés. Voilà un tableau récapitulatif des fichiers que nous avons validé, et de quelle façon nous sommes arrivés à nos fins (parfois à la sueur de nos fronts) :
| Wanted Data List | Validateur ? | Template ? | Validé ? |
| Liste des élus | NON | OUI | Oui, à la main. |
| Résultat des élections | NON | OUI | Oui, à la main. |
| Etat civil | NON | OUI | Oui, à la main. |
| Défibrillateurs | OUI | OUI | Le validateur a permis de corriger certaines coquilles, mais à la fin, il ne fonctionnait plus. La vérification finale a été faite à la main. |
| Recharge borne électrique | OUI | OUI | Oui, nous avons réussi à obtenir zéro erreur sur le validateur ! 😀 |
| Effectifs scolaires | NON | OUI | Oui, malgré un manque de certaines données, nous l’avons validé à la main. |
| Associations | NON | NON | Nous l’avons fait valider par Magalie. |
| Subventions | OUI | OUI | Nous avons corrigé plusieurs erreurs grâce au validateur, mais trois associations n’avaient pas de numéros SIRET et le validateur comptait toujours les cases non renseignées comme des erreurs. Nous avons tout essayé : ne rien mettre, mettre un zéro, NR, NA, N/A, N/R, … en vain. Nous avons donc décidé de laisser N/A, malgré l’obstination de ce satané validateur. |
| Bases horaires des administrations | NON | OUI | Oui, à la main. |
| Commerces | NON | OUI | Oui, à la main. |
Nous réussissons donc à valider toutes nos données, malgré l’absence de coopération du validateur, du tableur Excel, et de la météo qui nous transformait en éponge à essorer à chaque sortie-pause-café. Grâce à notre obstination sans frontière, notre solidarité mutuelle sans limite avec le groupe 9, et surtout, grâce au talent et au dévouement de Magalie, nous gardons le sourire et vainquons la difficulté, finalement sans trop de peine.
Aux alentours de 15h, nous appelons notre interlocuteur pour le tenir au courant de nos avancées et pour lui demander quelques renseignements. Il confirme son autorisation pour l’ouverture de toutes les données de notre « Wanted Data list ». Malheureusement, il ne peut nous fournir les quelques données manquantes (liste des associations, effectifs scolaires ; pas d’informations sur les transports car cela relève de la Métropole). Sachant faire face, nous continuons tout de même la mise en valeur les fichiers parfois incomplets.
Les validations terminées, chacun fait les dernières petites retouches pour tout mettre bien en ordre. Je me charge de rassembler sur le Drive tous les fichiers validés, en les renommant correctement. Deux personnes de notre groupe se chargent du bilan de mise en qualité ci-joint :
Vers 16h, avec quelques moussaillons en moins ayant quitté le navire pour obligations professionnelles, après moultes tempêtes, quelques accalmies, et une concentration sans faille aux commandes du bateau des données caudebecaises, nous décidons de rentrer au port. Nous avions terminé la mise en qualité des données et nous avions besoin de toucher la terre ferme, car la tête pleine de données, nous commencions à avoir le mal de mer. Demain, nous repartons à l’aube pour naviguer sur de nouvelles eaux : celles de la publication des données !
JOUR 4 – PUBLICATION
Cher Carnet de Bord,
Comment vas-tu? Ici, l’hiver a commencé, les chauffages ne sont toujours pas allumés mais dans le cadre du challenge data nous sommes toujours motivés à travailler! Laisse-moi te raconter le déroulé de la journée en quelques couplets.
Nouveau jour, nouveaux défis pour les data analyst en devenir du groupe 10! Nous avons commencé notre journée par une lecture des missions du jour sur open data canva. Au programme: publication des données sur data.gouv.fr en accompagnant notre interlocuteur dans la création d’un compte pour la commune mais aussi la mise en place d’un plan de communication pour l’ouverture des jeux de données. Bref, une journée bien chargée! Nous avons donc commencé par nous répartir les 5 fiches descriptives relatives aux jeux de données dont nous nous occupions jusque-là. Au cas où tu l’aurais oublié, je te résume mon cher carnet, les jeux de données qui nous sont attribués.
Les jeux de données dont nous sommes responsables sont:
1)Les défibrillateurs
2)La base horaire des commerces
3)Les subventions
4)Les associations
5)L’état civil (naissances et décès)
Comme tu le sais, nous devions rédiger des fiches descriptives. Celles-ci sont très importantes. Voici pourquoi:
Les fiches descriptives ont trois principaux buts:
1)la synthèse d’information (utilisation de mots clés, thèmes etc)
2)l’organisation d’information (différentes rubriques: licence, attributions etc)
3)la simplification pour les rendre accessibles à tous!
Après cette réussite flamboyante, l’équipe se réjouit quant tout à coup notre référente nous annonce que le bilan de mise en qualité doit être spécifique à chaque jeu de donnée et pas un résumé général! Panique et désespoir! T’imagines-tu la catastrophe cher carnet? Mais pas d’inquiétude, l’optimisme sans relâche de nos troupes nous permet de nous organiser rapidement et d’écrire nos bilans en un rien de temps!
Défi: réussi
Mais, j’oublie! Comment ne pas mentionner la publication de nos tendres données! Nous avons communiqué à notre interlocuteur les identifiants de la commune sur data.gouv.fr pour le compte que nous avions créé. Suite à la publication des fichiers de données sur data.gouv.fr, nous avons rempli les informations demandées sur le site officiel! Fort heureusement, celles-ci étaient similaires aux rubriques de nos (excellentes) fiches descriptives.
Et pour le clou du spectacle, le plan de communication. Tu m’excuseras de la longueur de cette lettre cher carnet mais crois-moi, cette partie va te combler! Plusieurs tâches nous étaient demandées, nous avons d’ailleurs précisé leur étendu lors d’un appel avec notre interlocuteur (13h45)
Il fallait donc:
1)créer un logo pour l’open data de la commune (2 personnes)
2)rédiger un article pour le journal de la commune pour annoncer l’ouverture des données (2 personnes)
3)rédiger un communiqué de presse (1 personne)
4)rédiger une fiche d’information pour expliquer le fonctionnement et l’intérêt de l’open data (1 à 2 personnes)
5)rédiger un post instagram/ facebook et proposer un visuel
(Oui j’aime les to-do-list carnet, je pense que tu as remarqué)
Le plan de communication nous a pris une grande partie de l’après-midi mais nous étions tous très enthousiastes à l’idée de nous transformer lors de quelques instants en des agents de communication pro. La solidarité du groupe et la bonne ambiance de travail nous a permis de brainstormer et de mettre à bien nos idées. Nous avons donc fini la journée en envoyant un mail à notre interlocuteur résumant le travail fait dans la journée et nous lui avons aussi communiqué nos idées pour le plan de communication. Nous attendons donc son feed-back. C’était donc une journée riche en travail mais pleine de bonne humeur!
Je te mets ici nos logos:
Bref, j’espère que chez toi tout va bien, pour nous c’est un clap de fin et à demain!
Ton groupe 10 adoré
Répartition des missions entre groupes 9 et 10 Tableau to-do-list pour un max d’efficacité!
JOUR 5 – VALORISATION
C’est parti pour la dernière journée! L’objectif d’aujourd’hui est de valoriser nos données, c’est-à-dire que nos données maintenant affinées, il faut les rendre lisibles par tous! Cela se fait en construisant des graphiques, ou encore des visualisations géographiques, le but étant de trouver le format le plus pertinent selon le jeu de données. Pour ce faire, nous disposons de nombreux outils: fini Excel, nous devons maintenant travailler sur Umap et OpenStreetMap en ce qui concerne les données que nous souhaitons montrer sur des cartes : localisation du défibrillateur (il n’y en a qu’un seul dans la commune pour l’instant, on espère que les Caudebecais ne sont pas cardiaques), et de tous les commerces. En ce qui concerne les jeux de données tels que les associations et les subventions, les naissances et les décès, nous sommes partis sur un format plus classique : des graphiques en barres faisant ressortir la répartition des subventions en pourcentage, et le montant des subventions accordées à chaque catégorie d’associations ; quant à “naissance et décès”, ce sont des courbes chronologiques permettant de voir l’évolution entre 2014 et 2021. Cependant, nous devons essayer de mettre les deux courbes sur le même graphique afin de pouvoir plus facilement les comparer et tirer des conclusions.
Une fois nos représentations terminées, ou presque, nous devons expliquer chacune d’entre elles dans des fiches que nous joindrons aux graphiques.
Après une pause déjeuner bien méritée, il faut avouer que ceux d’entre nous qui ont terminé la datavisualisation se trouvent un peu dépourvus : pour y remédier, nous prévoyons de peaufiner le Powerpoint que nous montrerons à l’IEP en fin de journée, et conclure le carnet de bord!
Surprise en finalisant la datavisualisation des commerces ! Nous nous sommes rendus compte que certaines coordonnées étaient fausses et en dehors de Caudebec-lès-Elbeuf, il a donc fallu effectuer de nouveau certaines recherches sur les commerces, mais rien de bien grave.
Nous nous sommes également rendu compte que nous n’avions pas encore modifié la présentation du plan de communication afin qu’il corresponde à notre collaboration avec Caudebec-lès-Elbeuf. C’est désormais chose faite.
Avant notre compte-rendu final à 17h, nous nous sommes de nouveau joint avec le groupe 9 afin de faire une répétition, pour s’assurer que nous ne nous marchons pas sur les pieds lors de la présentation, et définir un ordre de passage. Comme spectateurs “cobayes”, nous avions le groupe 17 avec qui nous partageons la salle, nous les remercions de nous avoir prêté attention.
CONCLUSION
Après 5 jours de dur labeur où nous avons fait face à vents et marrées, affronté les mésaventures et les coups du sort, nous sommes venus à bout du Challenge Data. Au total, nous avons ouvert 11 jeux de données pour la commune de Caudebec-lès-Elbeuf, dont 5 pour notre fameuse équipe 10. Les 5 jeux de données que nous avons eu la chance de traiter étaient les défibrillateurs, la base horaire des commerces, les subventions, les associations et enfin l’état civil. Au cours de cette semaine dans la peau de datactivistes, nous avons notamment dû faire face à de nombreux obstacles qui ont freinés notre aventure dans la collecte et l’ouverture de données.
Tout d’abord le manque de données fournies par la commune dès le premier jour nous a forcés à endosser le rôle de producteur de données, ce qui nous a fait avancer à tâtons les premiers jours n’ayant pas de ligne conductrice claire et précise. Nous avons également eu du mal à contacter et se mettre d’accord avec notre interlocuteur, ce qui a abouti à quelques incompréhensions avec ce dernier. Enfin, l’utilisation des outils numériques très sophistiqués Excel, uMap, du vérificateur et de RawGraph nous à posés quelques problèmes au début, le temps de les prendre en main.
Toutefois, tout n’a pas été seulement négatif cette semaine. Nous avons formé un groupe élargi avec le groupe 9 et notre alliance productive nous a fait avancer beaucoup plus vite dans ce Challenge Data. Nous avons également su redoubler d’efficacité dans la recherche manuelle de données qui nous a grandement aidé pour finaliser les jeux de données. Enfin, à la surprise générale, le contact et l’échange rapide avec l’équipe municipale a facilité notre mission.
De cette semaine quelque peu spéciale, nous ne repartons pas les mains vides. Malgré les difficultés techniques et d’utilisation au premier abord, cela nous a permis de peaufiner et d’améliorer notre compréhension et utilisation des outils numériques. Aujourd’hui, le Challenge Data a développé chez nous une adaptabilité et une flexibilité sans pareil, ainsi qu’une compréhension approfondie des data que nous pourrions désormais expliquer sans soucis à des novices.
Cette semaine où nous avons sué toute l’eau de notre corps est pour nous une réussite et nous sommes fiers du travail fourni, notamment de la base de commerce que nous avons proposé. Elle est le fruit d’un travail collectif où tout le monde a su apporter sa pierre à l’édifice. Enfin, la création de données elle-même est une réussite où chacun peut en tirer sa petite fierté. La consécration de ce Challenge Data 2022 est le record d’ouverture de jeux de données, qui montre encore une fois que notre promotion se démarque des précédentes.