Carnet de bord de l’ouverture des données du Pays de l’Or

par ORBAN Clara, LEIDWANGER Madeleine, DAMOUR Laurianne, SPANDONIS Valentin, RABÉ Nathan, CHAUSSE-DUMONT Louisa

JOUR 1 – DIAGNOSTIC

Résumé : Communauté d’Agglomération du Pays de l’Or

Pour la plupart d’entre nous, cette journée fut le premier contact tangible avec le monde, nébuleux en apparence, de l’open data. Nous étions en soi bien peu à pouvoir mettre des mots concrets sur cet univers singulier, dont les problématiques sont pourtant centrales pour nos collectivités territoriales et nos institutions. Pris dans l’effervescence collective, il nous a donc fallu franchir cette barrière de l’inconnu et partir en quête de ces précieuses « données ouvertes ». Malgré cela, cette première approche s’est faite dans des conditions plus que réconfortantes. Très rapidement, notre interlocutrice s’est montrée remarquablement bienveillante à notre égard, comprenant nos interrogations, nos préoccupations et la mission qui nous était confiée pour cette semaine. C’était évidemment une chance et nous étions enthousiastes à l’idée de pouvoir nous impliquer auprès de cette collectivité pour le reste de la semaine.

Rassurant aussi dans les conditions de travail ! La plateforme de travail ne manquait pas d’informations et d’outils pour mieux cerner les attendus, sans pour autant installer une pression démesurée. La synergie créée avec notre référente « marche du feu de Dieu » comme disait Confucius. Plus sérieusement, les datactivists sont présents pour répondre à l’essentiel de nos demandes et de nos questions, dans une ambiance véritablement conviviale et chaleureuse.

En somme, tout semble aller bien dans le meilleur des mondes. En tout cas, pour le moment …

Sur ce, datament vôtre !

Groupe 7 du Challenge Data.

Wishlist :

JOUR 2 – IDENTIFICATION

« C’est looooooooooong », Clara Orban (datavictime du groupe 7).

Aujourd’hui jour 2: dataxploration. La journée commence avec une certaine appréhension face au monde des données. Hier, nous avons envoyé un mail à tous nos contacts afin qu’ils nous envoient les informations pour réaliser la wanted data list. Finalement, nous nous rendons compte assez rapidement que ce que l’on demande à nos contacts n’est pas clair. En effet, notre premier mail de la journée est un PDF de 110 pages concernant le budget principal et les autres mails expriment des demandes de précisions d’informations. Comme le petit montage photo de Clara l’indique, notre mood de la journée se détériore. Grosse remise en question de l’équipe, un doute insidieux s’immisce, nous n’arrivons vraisemblablement pas à nous exprimer dans la data sphère. Changement de ton : nous envoyons des mails avec des exemples de template. Et là grand moment… d’attente… encore et encore… avant que l’on obtienne nos premières réponses. Nous obtenons ainsi nos premiers jeux de données. En patientant d’obtenir les autres, nous commençons à nettoyer les templates (première étape du jour 3).

Au fur et à mesure que nous obtenons les jeux de données, alors que certains d’entre nous s’occupent de correspondre avec nos contacts, les autres se chargent d’importer les données dans les templates ou de faire l’organigramme. Le travail avance donc vite et bien. Dans l’après-midi, nous faisons un point avec notre interlocutrice, afin de faire le bilan des données que l’on a réussi à recueillir et par la suite si elle souhaite prioriser des jeux de données à publier pour rédiger la wanted data list.

Pour finir la journée, nous avons rédigé une ébauche de wanted data list car nous n’avons pas encore tous les jeux de données et nous continuons de traiter ceux que l’on reçoit au fur et à mesure.

Pour conclure, nous pouvons dire que nous avons été efficaces car le travail a bien été réparti entre nous. Une fois que nous avons revu notre façon de communiquer avec les agents et que nous avons pu recevoir les jeux de données, la wanted data list s’est faite naturellement, de même que l’organigramme. Malheureusement, notre wanted data list reste provisoire, de même que notre organigramme, car nous attendons des jeux de données que nous recevons normalement demain.

« Ça avance ! » Valentin S., (Daddydata du groupe 7).

« Je maîtrise l’outil carte mentale », N. (Dalaï Data du groupe 7).

Résumé : EXCELlente journée!

Organigramme des données :

Évaluation des données :

Wanted Data List :

Après avoir récupéré les différents jeux de données : ZFE, subventions, patrimoine/équipements, défibrillateurs et budget primitif, établissements d’accueil jeunes enfants, points d’apport volontaire de déchets, nous nous sommes attaqués à l’évaluation de ces derniers. Nous sommes toujours dans l’attente des données concernant les marchés publics, les déclarations des profils acheteurs ainsi que de la programmation des acheteurs. Monsieur Sangrador nous a précisé qu’ils nous les transmettraient mercredi.

Nous avons procédé à l’évaluation des jeux de données à notre disposition. Ainsi, celles qui nous semblent exploitables seront traitées mercredi.

Toutefois, nous n’avons toujours pas eu de réponses concernant 3 jeux de données : Etablissement d’accueil petite enfance, Permis de construire et Menus de la restauration collective.

Notre Wanted Data List se compose donc de :

JOUR 3 – MISE EN QUALITÉ

9h30: Nous avons reçu ce matin le jeu de données concernant les Établissements d’accueil petite enfance, ce qui nous a permis de nettoyer, compiler, corriger et de standardiser 7 jeux de données au total. Notre Wanted Data List finale comprendra donc les jeux suivants:

10h: après avoir pris connaissance des différences de mise en qualité des données, nous nous sommes organisés en binômes afin de nous répartir le travail et d’être plus efficaces:

Madeleine & Louisa: nettoyage des jeux

Clara & Valentin: correction des jeux

Laurianne & N.: standardisation.

Nous avons rencontré un certain nombre de difficultés:

D’abord, les données comportaient des erreurs de saisie (données dans les mauvaises colonnes, incohérences), et un certain nombre de cases étaient vides.

D’autre part, nous avons été déçus de ne pas recevoir certains jeux de données attendus faute de temps de la part des agents.

C’est le travail le plus technique que nous ayons eu à faire jusqu’à présent.

14h: A la fin du travail préparatoire, la plateforme de validation ne fonctionnait pas, ou ne permettait pas de traiter certains jeux. Avec l’aide de Diane, nous avons donc réalisé cette étape manuellement et il a été convenu que certains jeux, notamment ceux relevant de la comptabilité, seraient publiés avec la mention “non standardisé”. Il nous manque en effet des compétences techniques pour les traiter, et nous ferons remonter ce problème à la communauté d’agglomération.

Nous avons finalement dressé les bilans de mise en qualité, qui faisaient principalement part des problèmes que nous avons eu avec validata.

Notre interlocutrice ne pouvant pas participer à notre point quotidien, nous lui avons fait un compte rendu par mail et lui avons transmis les bilans par mail en fin de journée…

Bilan de mise en qualité des données: https://docs.google.com/document/d/1d1MVYER51F5Zq4gT_TwqpGaong06Ltus/edit?usp=sharing&ouid=109443849090977709761&rtpof=true&sd=true

JOUR 4 – PUBLICATION

De bonne heure et de bonne humeur, nous nous lançons à l’assaut de la journée la plus symbolique de la semaine: on va tout publier!

Première mission: Fiches descriptives

Il s’agit de remplir avec les agents de la collectivité les fiches descriptives des jeux de données jusqu’ici collectées et traitées. Nous avons tenté d’avoir les informations nécessaires par mail mais face à l’absence de réponse (et la perte de temps engendrée), nous avons décidé d’appeler chaque responsable de service… en vain.En effet, tandis que les uns n’avaient pas de temps à nous consacrer, les autres étaient en déplacement et ne nous ont pas répondu. En accord avec Diane, nous avons entrepris de remplir ces fiches nous-mêmes, en indiquant à notre interlocutrice qu’elles pourraient être complétées et/ou remplies par les responsables concernés par la suite.

Clara et Valentin qui avaient travaillé sur les ZFE (via la template disponible sur le drive) se rendent compte qu’ils s’étaient trompés et qu’il s’agit de ZAE (Zones d’Activités Économiques, données envoyées par la collectivité). Ils décident alors de rectifier leurs données et se lancent dans des heures acharnées de création de templates.

Deuxième mission: Publication des données sur un portail open data

Après vérification, nous constatons que la collectivité ne possède pas de compte sur la plateforme data.gouv.fr mais que l’agence Transp’Or couvrant la zone en a une. Nous demandons donc à notre interlocutrice s’il nous faut en créer un pour le compte de la collectivité. La réponse: oui! Nous effectuons donc les démarches nécessaires avec les autorisations de la responsable data de l’agglomération. Cela étant fait, en début d’après-midi nous faisons en sorte de faire certifier le compte en en faisant la demande auprès de la plateforme (à l’heure du clap de fin de journée, la validation n’est pas encore effective). Parallèlement, nous publions un à un les jeux de données que nous avons traité jusqu’ici. C’est un peu fastidieux mais c’est la concrétisation de ce que nous avons fait jusqu’ici!

Pour ce qui est de la stratégie open data de la collectivité, il s’agissait pour celle-ci d’une entrée en matière. Les données sont publiées sur la plateforme data.gouv.fr et seront gérées par notre interlocutrice qui est déléguée de la protection des données personnelles et chargée de la mission archiviste. Elle nous a fait part de sa volonté de poursuivre cette démarche sans pour autant préciser les contours de ce projet.

Troisième mission: Plan de communication

À la lecture du document concernant le plan de communication, la peur s’empare de la SevenTeam! Nous pensions que cette journée serait plus légère que la précédente, mais il semble qu’elle va être plus intense encore.

“C’est pas possible, on va pas faire tout ça!” Daddy Data

Nous tentons de contacter la responsable de la communication de la communauté d’agglomération. Notre interlocutrice nous informe qu’elle n’était pas au fait de son rôle à jouer dans cette démarche d’ouverture des données, mais qu’elle lui communiquerait ce que nous attendions d’elle. Assez rapidement, cette dernière nous précise ce qu’elle souhaite concernant la communication. Nous nous lançons alors dans la rédaction d’un article et de publications réseaux sociaux à l’intention des usagers d’une part et d’un mail qui explicite la démarche aux agents et élus. Ayant reçu les directives tardivement, nous restons jusqu’à 17h30 pour tout finaliser!

Impression du jour: C’était koh-landata !!

“On est encore une fois dans l’attente” la Datartiste

Pendant les moments de latence (notamment en milieu de matinée), nous décidons de prendre de l’avance sur les missions du jour suivant: Nous choisissons les types de visualisation que nous donnerons à chaque jeu de données.

Les mots de la fin : « Données Do-Do Données Données-moi de la moudata, ils sont où tous les agents. »

Constat du jour: les responsables de service qui étaient aux a-données absents ;)

URL des jeux de données publiés

Plan de communication et une affiche à voir dans le Drive

Photos à voir dans le dossier photos (Jour 4).

Proposition de logos (qui n’auront finalement pas servi)

JOUR 5 – VALORISATION

Nous avons commencé à questionner les sept jeux de données en utilisant différents supports. Les datavisualisations des jeux de données concernant les Établissements petite enfance, le Patrimoine (Équipements collectifs publics), les Points d’Apports Volontaires (PAV) et les défibrillateurs ont été effectués à travers des cartes interactives à l’aide du logiciel uMap. Pour être le plus précis possible et éviter toute erreur, nous essayons d’importer directement les fichiers CSV des jeux de données.

Nous avons rencontré quelques problèmes concernant l’importation de certains jeux de données sur uMap. Par exemple, notre jeu de données concernant le Patrimoine (Équipements collectifs publics) n’était pas accepté par le logiciel parce qu’il n’était renseigné que les adresses et non pas les coordonnées. Nous avons alors dû les ajouter manuellement. Dans le jeu de données PAV, certaines coordonnées GPS sont interprétées par Excel comme des dates ce qui engendrent un dysfonctionnement pendant l’importation sur uMap. Il a fallu modifier une à une les données.

La visualisation du jeu de données des subventions s’est faite à travers un graphique en bâton pour des questions de clarté et d’efficacité dans la représentation des fluctuations et de l’évolution des subventions sur une période de temps précise.

Enfin, nous avons divisé la datavisualisation de la ZAE en un histogramme et un graphique à colonne.

L’histogramme nous a permis d’afficher la distribution des différentes données et variables( ici la superficie et le nombre d’entreprises) en fonction des zones d’activités. Quant au graphique colonne, il nous a servi à comparer le nombre d’entreprises en fonction des zones d’activités de la ZAE.

Les subventions ont été visualisées par l’intermédiaire d’une graphique en barre illustrant le prix de chaque subventions et leurs libellés. De même, la visualisation du budget primitif a été illustrée par un graphique en barre comparant les dépenses et les recettes budgétées afin de visualiser efficacement le budget à l’équilibre. A cela, nous avons ajouté deux autres graphiques en bâton afin d’illustrer de manière plus claire les dépenses et recettes par catégories.

Par la suite, nous nous sommes attelés à contextualiser les différentes datavisualisations afin d’apporter un commentaire et une analyse sur chacune d’entre elles. Cette étape a précédé la publication de l’ensemble des datavisualisations sur le compte data.gouv de l’Agglomération du Pays de l’Or afin de compléter et d’expliciter l’ensemble des jeux de données. Pour cela, nous avons créer des liens hypertexte afin d’accéder facilement à chaque graphique et carte correspondant au jeu de données

Liens vers les visualisations :

1- Équipements collectif (patrimoine):

→ Carte des emplacements des équipements collectifs (patrimoine)

Lien de visualisation : umap.openstreetmap.fr/fr/map/carte-des-emplacements-des-equipements-collectifs_838551

lien d’insertion page html:

Voir en plein écran

2- ZAE:

→ Histogramme représentant la distribution du nombre d’entreprises et de la superficie en fonction des zones d’activités de la ZAE

→ Graphique en barre représentant le nombre d’entreprises par zones d’activités de la ZAE

3- Établissements petite enfance:

→ Carte des emplacements d’établissement de petite enfance

lien de visualisation: umap.openstreetmap.fr/fr/map/carte-des-etablissements-daccueil-petite-enfance_838663

lien d’insertion page html:

Voir en plein écran

4- PAV:

→Carte des points d’apport volontaire (PAV)

lien de visualisation: umap.openstreetmap.fr/es/map/carte-des-points-dapport-volontaires-du-pays-de-lo_838647

lien d’insertion page html:

Ver pantalla completa

5- DAE (défibrillateurs):

→ Carte des emplacements des DAE (défibrillateurs)

Lien de visualisation :

https://umap.openstreetmap.fr/fr/map/defibrillateurs-automatises-externes-dae_838481

lien d’insertion page html:

Voir en plein écran

6- Subventions:

→ Graphique représentant les subventions principales apportées par la Communauté d’Agglomération du Pays de l’Or

7- Budget:

→ Graphique représentant le budget primitif pour l’année 2022

Voir dans le Google Drive le fichier : Contexte de la datavisualisation ( Jour 5 ) https://docs.google.com/document/d/1cBXpj4FDo2h1PC4lhwMBej4M90xpWCKa/edit#heading=h.gjdgxs

CONCLUSION

Jour 1

Nous nous sommes vu assignés la collectivité de l’Agglomération du Pays de l’Or.

Lors du briefing du premier jour, nous sentons une appréhension palpable parmi toute la promo. Personne ne semble s’y connaître en data, open datas, ouvertures de données ou que-sais-je .

Toutefois au sein même de notre groupe, cette appréhension s’évapore presque immédiatement lorsque nous voyons notre interlocutrice : la déléguée à la Protection des Données Personnelles de l’agglomération qui combine aussi le poste de chargée de mission Archiviste. Suite à notre premier appel vidéo avec elle, tous les derniers petits doutes qui pouvaient exister s’évanouissent : elle s’y connaît en data, plus que nous c’est certain, et elle nous fait part de son enthousiasme à participer au Challenge Data. Elle nous explique que malgré le poste qu’elle occupe, peu connu de ses collègues, mais qu’elle est bien motivée à faire changer les choses, l’open data ça commence maintenant, du moins, ce qui était nettement sectorisé auparavant, s’élargit de plus en plus.

La journée du lundi se compose donc d’une mise en relation avec la collectivité par le biais de notre interlocutrice. Grâce à elle nous pouvons établir la wishlist qui déterminera notre travail sur les prochains jours. Nous évaluons en effet les envies et besoins de la commune. Concrètement aucune envie particulière n’est mentionnée, l’agglomération étant novice en opendata, toute publication est bonne à prendre. Nous nous retrouvons alors avec une dizaine de jeux de données potentiels, le vrai travail commence mardi.

Jour 2

Nous nous retrouvons avec l’équipe, plein d’entrain, « datarminés » . Aujourd’hui, notre travail consiste à contacter les personnes des services concernés par l’ouverture des jeux de données. Alors que nous avions la veille envoyé des mails pour demander lesdits jeux de données, nous nous rendons compte d’un problème important : nos interlocuteurs et interlocutrices ne comprennent pas nos demandes. Nous n’avons pas été clairs, nous devons recommencer nos requêtes, mais cette fois, en étant plus précis. Ainsi débute une phase qui se répètera au fur et à mesure des jours : l’attente. Nous qui pensions passer une semaine à crouler sous le travail, avec des horaires qui n’en finissent plus, nous nous retrouvons seuls face à une boite mail actualisée toutes les 30 secondes et demie. Sans les jeux, impossible de se mettre au travail, alors toute la matinée, nous n’avons d’autres choix que de patienter. Nous essayons de nous occuper tout de même, nous regardons les étapes à compléter de la journée, puis de celle d’après, nous remplissons le carnet de bord et réfléchissons à des jeux de mots douteux sur les datas.

L’après-midi survient et avec elle plus de travail. Nous avons récupéré quelques jeux de données, nous pouvons alors les insérer dans les templates et créer l’organigramme. Nous nous divisons le travail efficacement ce qui nous permet d’avancer rapidement et sans accroc. Nous prenons même un peu d’avance sur mercredi en commençant le nettoyage des templates obtenues. Nous rédigeons également une première version de la wanted data list, nous la complèterons le lendemain avec les derniers jeux de données récupérés.

Jour 3

Nous commençons cette journée avec comme objectif la récupération des jeux de données manquants. Ainsi, notre wanted data list se compose de sept jeux de données exploitables : ZFE (Zone à faible émission), Subventions, Patrimoine/équipements, DAE (Défibrillateurs), Budget primitif, EAJE (Établissements d’accueil jeunes enfants), PAV(Points d’apport volontaire de déchets).

Suite à cela, c’est le travail de mise en qualité qui débute. Par binôme nous nous occupons des trois tâches principales puis en fonction de l’avancée de chacun et chacune nous finalisons ou corrigeons ce qui a besoin de l’être.

Il y avait un niveau important de technicité lors de cette journée qui nous a finalement vite paru naturel une fois chaque étape comprise.

La validation des données cependant a été plus complexe que prévu. La majorité de nos fichiers étaient incompatibles avec le site de validation, et pour les données pouvant être validées par le site, celui-ci indiquait une erreur du système. Nous avons donc dû opter pour une validation manuelle avec notre référente.

Jour 4

Après avoir passé le « plus dur » de la semaine avec mercredi, nous revenons à l’école plein d’enthousiasme, notamment en pensant à la partie communication qui intéressera certainement plus les élèves du Master Culture et Communication. Cependant, l’enthousiasme n’est que de courte durée, en regardant la check-list puis le plan de communication proposé, nous évaluons cette journée comme celle qui demandera le plus d’investissements, de temps et d’efforts.

Pour parer cette appréhension grandissante, nous décortiquons la journée en trois parties et décidons de laisser la partie communication pour un peu plus tard. Nous commençons donc par remplir les fiches descriptives ou du moins, essayer. En effet, nous entrons une fois de plus dans une phase d’attente. Les interlocuteurs et interlocutrices ne répondent pas pour nous aider à les remplir. Lorsque nous les appelons, les réponses sont toutes les mêmes « Je suis super occupé aujourd’hui désolé rappelez moi la semaine prochaine ».

Nous décidons donc de remplir ces fiches nous-mêmes grâce aux données collectées et trouvées sur Internet.

De plus, Valentin et Clara se retrouvent face à un problème de taille : en trouvant la template ZFE, ils ne se sont pas rendus compte que le jeu de données ZAE envoyé par l’interlocutrice était différent. Ils ont donc recommencé chaque étape et créer leur propre template pour pouvoir le traiter, le mettre en qualité, le publier etc.

Dans un second temps, nous nous sommes occupés de la publication des données et de la création du compte data.gouv de l’Agglomération du Pays de l’Or . La publication n’est pas particulièrement compliquée mais répétitive et soignée donc cela prend du temps. Lorsque tout cela est fait, nous ressentons une vague de soulagement, et un sentiment du travail accompli.

Enfin, nous revenons à ce qui nous inquiète : la communication. Tout au long de la journée, dès qu’il y a un creux, quelqu’un s’attèle à un point du plan de communication. Madeleine crée des logos qui finiront par ne pas être utilisés. Lorsque nous recevons enfin des nouvelles de la personne en charge de la communication de l’agglomération, celle-ci nous partage ses envies pour la stratégie et nous nous y attelons. Louisa écrit un article à publier sur le site de la collectivité, N. écrit différents posts pour les réseaux sociaux, Laurianne écrit un mail pour présenter aux élus le projet du challenge data et sa finalité.

Jour 5

Dernier jour, jour de valorisation des données.

Nous avons entrepris les datavisualisations des jeux de données. Cette étape consiste à mettre en graphique les jeux de données pour leur donner vie, vulgariser et mettre en lumière certaines informations que nous pensons être utiles pour la collectivité.

Nous avons eu à ce moment là quelques problèmes car les jeux de données dont nous disposions n’étaient parfois que partiellement complets au niveau de certaines données. Nous avons par exemple dû reprendre le fichier des établissements collectifs publics pour y ajouter des colonnes sur les coordonnées (latitudes et longitudes) ou celui des EAJE et PAV. Après avoir exploré toute l’agglomération au peigne de Google Maps et les coordonnées récupérées, nous avons pu passer à l’étape de visualisation.

Lors de cette étape, deux sortes de graphiques ont émergé. Les cartes, faites après avoir récolté les coordonnées, des graphiques en bâtons et histogrammes pour représenter des données chiffrées telles que les budgets ou nombre d’entreprises dans les ZAE.

Nous avons fini par retrouver pour la dernière fois notre interlocutrice via un appel sur gathertown. Nous avons profité de ce moment pour la remercier elle ainsi que ses collègues et pour lui faire un récapitulatif de notre mission au cours de cette semaine.

Finalement, les ultimes moments du Data Challenge 2022/2023 se sont déroulés avec toutes les autres équipes autour d’un cocktail de fin. Les Datactivists nous ont salués et remerciés, nous nous sommes tous et toutes applaudis et doucement dirigés vers nos chez nous où un gros dodo nous attend.

Bilan de cette semaine:

En tant qu’étudiants en sciences politiques bien que chacun issu d’un Master différent, nous avons découvert d’un peu plus près le travail fait par les collectivités et au sein de celles-ci. De plus, nous avons pu mesurer l’ampleur de l’enjeu des opendata dans les années à venir.

Bilan de cette semaine: