Carnet de bord de l’ouverture des données de Lambersart

par Mikhael CHERIFI, Paul ESTEVES, Sharmilie GNANACHELVAM, Axel BELKEBIR LE GUEN, Sélya MEREGHETTI, Ludovic RIEUTORD et Salomé ZERBOUHI.

Introduction

Le dossier ci-dessous retrace le travail des étudiants de quatrième année de l’IEP de Saint-Germain en Laye, membres du groupe 16 dans le cadre du Challenge Data. Celui-ci s’inscrit dans un programme de travail centré sur la donnée et s’étalant de la première à la cinquième année de formation de l’IEP de Saint-Germain-en-Laye. Supervisé par les intervenants de la coopérative DATACTIVIST, cette année, le Challenge Data a eu lieu du lundi 21 au vendredi 25 novembre 2022. L’objectif de cette semaine de travail est d’une part d’initier les étudiants au domaine complexe de la donnée, et d’autre part de d’ouvrur des jeux de données en collaboration avec des collectivités territoriales, afin d’aider ces dernières à respecter leurs obligations légales en matière d’open data. Pour notre part, nous avons effectué ce travail en lien avec la municipalité de Lambersart.

La commune de Lambersart est une ville moyenne de 27 500 habitants avoisinante de Lille. Moins connue que sa grande voisine, Lambersart est une ville paisible et comporte en son sein des chefs-d’œuvres architecturaux comme l’église Saint-Calixte érigée en 1894, l’hôtel de ville ou encore l’avenue de l’Hippodrome. Tout au long de notre travail, nous avons eu la chance d’être épaulés par un ensemble de personnes travaillant à la municipalité de Lambersart. La collaboration avec ces acteurs nous a permis de parfaire notre travail de collecte et de classification de données. Plus précisément, nous avons centré notre travail sur la mise en place de jeux de données traitant de sujets aussi divers que les aménagements cyclables, les biobox ou encore l’ensemble des commerces acceptant les contenants extérieurs.

Malgré des moments de fatigue et de doute, notre groupe ressort agréablement surpris par cette expérience. La « semaine data » nous a permis d’acquérir des connaissances dans des domaines aussi variés que la collecte de données ou la mise en forme de graphiques ou de cartes publiées sur des sites officiels. Voici donc un aperçu très complet des tâches que nous avons réalisées chaque jour, avec nos réussites, nos difficultés et nos avancées, permettant ainsi de retracer cette semaine qui nous a beaucoup apporté.

JOUR 1 – DIAGNOSTIC

Dans le cadre de l’établissement du diagnostic concernant l’état d’avancée de l’ouverture des données de la ville de Lambersart, nous avons commencé par prendre connaissance du dossier drive à partir de 10h20 (signature des autorisations, lecture de la wishlist et du questionnaire). Ainsi, nous avons pu contacter notre référent de la mairie de Lambersart. Il est le chef de projet développement numérique et open data de la commune de Lambersart (métropole Européenne de Lille). Après lui avoir envoyé un mail et un message pour convenir d’un rendez-vous, il nous a répondu que nous pourrions échanger sur le questionnaire et la wishlist à 13h. Au cours d’un appel d’environ 1h20, nous avons établi, grâce au questionnaire, le niveau de maturité de Lambersart en matière d’open data.

D’ailleurs, nous avons constaté que le niveau de la ville était passé de 1 à 2 entre le challenge data de l’année dernière et aujourd’hui. Au cours de cet échange, lors duquel nous avons vu le niveau de compétence élevé du chef de projet open data malgré une certaine résistance de la part des autres services de la commune sur l’utilité de l’ouverture des données de la collectivité, nous avons constaté le peu de moyens de notre référent se retrouvant seul dans cette tâche.

Par conséquent, nous avons pu identifier les besoins de la collectivité, centrés sur les enjeux écologiques et environnementaux de Lambersart. Par ailleurs, lors de cet échange, le chef de projet Open Data nous a fait part des difficultés de sa tâche, notamment lorsque des données sont traitées par des délégataires (ce qui est le cas pour les menus des cantines de la ville) ou lors d’enjeux de politiques publiques (en ce moment sur la collecte des déchets et le tri sélectif). Ainsi, nous avons élaboré une wishlist de 6 jeux de données hiérarchisés à traiter (localisation des biobox, parking à vélos et vélos en libre-service, aménagement cyclable, part des véhicules à faible émission dans le renouvellement du parc de la commune, les commerces acceptant les contenants extérieurs, chemins de randonnées). Nous avons soumis cette liste à notre référent qui l’a validé à 14h30.

La Wishlist de Lambersart

Liens :

Wishlist - Lambersart : https://docs.google.com/spreadsheets/d/1Tfo__CeBi2HLhhQr8buC13Wb5vHR-AxT/edit#gid=1032248125

Résultats questionnaire de maturité open data : https://airtable.com/shr4hkTi6y6mwMqQ9/tblCK1HM7nfkjbFpi

JOUR 2 – IDENTIFICATION

En ce début de deuxième jour, nous avons commencé la journée dans la bonne humeur grâce au petit-déjeuner amené par notre camarade Salomé. Nous avons d’abord envoyé un mail à un responsable de la Métropole Européenne de Lille, ancien chargé de missions open data afin de lui demander s’il disposait de jeux de données dont nous avions besoin. En parallèle, nous avons consulté le guide express pour la recherche de données pour explorer d’autres sites et trouver des données qui pourraient nous intéresser. Ce ne fut cependant pas concluant.

Par ailleurs, certains de l’équipe se sont occupés d’envoyer un mail à notre référent pour récupérer les données correspondant à la wish list et obtenir les noms des services à contacter afin d’obtenir les informations manquantes. Nous avons également débuté la réalisation de l’organigramme de la collectivité, rempli au fur et à mesure de la journée. Après réception des données envoyées par notre référent, nous avons dû redemander des précisions à la fois sur les données, sur les services concernés et nous lui avons transféré les templates afin que nous puissions récupérer les données sous le bon format. Notre référent nous ayant indiqué les services à contacter pour chaque jeu de données, nous avons d’abord convenu par mail d’un appel avec le responsable du patrimoine communal qui a accepté de nous envoyer un document répertoriant toutes les informations sur la part des véhicules à faibles émissions dans le renouvellement du parc. Pour ce jeu de données, nous avons recherché les informations manquantes pour réaliser un fichier CSV conforme.

De plus, après prise de contact avec la Fédération Française de Randonnée, nous avons été redirigés vers le Comité Régional des Hauts-de-France, auquel nous avons demandé des renseignements sur les données relatives aux chemins de randonnée. Nous avons alors choisi d’abandonner ce jeu de données car aucun des services ne dispose des données dont nous avons besoin. En ce qui concerne les aménagements cyclables et les parkings à vélos, nous avons pu récupérer sur Open Street Map les données nécessaires à la mise en page des fichiers CSV. Nous avons également relancé notre référent pour récupérer les données correspondant aux biobox. Pour les données que nous avons décidées d’ouvrir, nous avons commencé à standardiser les informations que nous avons reçues pour remplir nos templates.

Nous avons également utilisé les standards de schema.data.gouv pour fabriquer notre template sur le renouvellement du parc automobile. Pour la localisation des biobox, certaines données nous ont manquées après la consultation du site Lambersart.fr. Ainsi, nous prévoyons d’appeler l’association ARAS/Espas demain pour les récolter. Ainsi, au cours de la journée, notre wish list s’est transformée en wanted data list, avec les jeux de données que nous avons décidé d’abandonner ou de continuer à étudier. Nous l’avons ensuite envoyée à notre référent ainsi que l’organigramme.

Wanted Data List

Organigramme de la collectivité(https://app.mindmup.com/map/_free/2022/11/709a29b06a7611ed9441612a4d0d2a48)

Wanted Data List(https://docs.google.com/spreadsheets/d/1Tfo__CeBi2HLhhQr8buC13Wb5vHR-AxT/edit#gid=1032248125)

Mood du jour : l’humeur n’est plus au beau fixe, la fatigue émerge mais l’efficacité reste le maître-mot.

JOUR 3 – MISE EN QUALITÉ

Nous avons commencé notre journée par un petit déjeuner ramené par Ludovic. Nous avons débuté par la lecture de la documentation sur opendatacanvas pour savoir les démarches à faire dans la journée.

Pour améliorer le jeu de données des biobox, nous avons appelé une des associations qui est chargée de ces installations. Elle n’avait aucune donnée mais nous a donné le numéro d’une seconde association. Nous avons cherché les coordonnées géographiques précises des biobox afin de remplir le template.

Après avoir fait un point avec notre référent sur les tâches précises à faire, nous avons commencé par importer nos jeux de données dans un deuxième volet des templates existants. Nous avons renommé les documents contenant les jeux de données conformément aux standards des templates. Nous avons également vérifié les noms de colonnes en comparaison aux modèles des templates. Nous avons corrigé ceux qui éventuellement n’étaient pas corrects. Nous avons également changé toutes les cellules vides dans lesquelles nous avions initialement inscrit « NR ».

Nous avons regardé des vidéos pour comprendre le fonctionnement du format GeoJSon en prévision de la mise en page des données sous forme de carte, comme il nous l’a été demandé par la collectivité pour les parkings à vélos et les biobox notamment.

Nous avons également cherché, dans une logique de qualité, à vérifier les sources de nos données, notamment issues d’Open Street Map. Pour cela, nous avons soit regardé les sources inscrites dans les fichiers templates (c’est notamment le cas des aménagements cyclables), soit sur d’autres bases de données. Nous avons donc regardé s’il existe des mises à jour des sites d’où sont extraites les données notamment lorsque leur dernière date de publication est ancienne (2012 par exemple). Nous avons passé les jeux de données dans le validateur lorsque ceci était possible. Sinon nous avons fait les vérifications aléatoires.

Enfin, après avoir eu l’accord de notre référent auprès de la commune, nous avons commencé à appeler les commerces alimentaires de la commune de Lambersart en leur demandant s’ils acceptaient les contenants extérieurs. Nous avons ensuite renseigné ces données dans le fichier répertoriant les commerces qui a été réalisé l’année dernière, et qui n’a pas été mis à jour depuis.

Dans l’après-midi, nous avons demandé de l’aide à Magalie pour lire les coordonnées des aménagements cyclables. Celles-ci ne donnaient jusqu’alors uniquement des points (et non pas des données shapefile, lignes alors que les aménagements cyclables sont des voies et pistes cyclables et doivent donc être continus), puisqu’elles ont été extraites avec Géodatamine, logiciel ne donnant que des positions précises. Nous avons donc tenté d’identifier les données propres à la zone de Lambersart disponibles sur openstreetmap, et non pas uniquement les données d’aménagements cyclables. Un grand nombre de données est donc apparu, il a ensuite fallu les filtrer pour ne faire apparaître que les données qui nous intéressent ici. Cependant, le fichier était très lourd ce qui a engendré des difficultés matérielles (problèmes de connexion internet, ordinateur pas assez puissant…) et nous n’avons pas pu obtenir ce que nous cherchions.

Nous avons assisté à une réunion avec le responsable des données de la MEL qui nous a expliqué comment publier des données sur le portail de la MEL. Il nous a expliqué que la MEL se mettrait en lien avec un responsable de l’open data de chaque commune pour qu’ensuite il soit en mesure d’assurer le suivi de ces données pour qu’elles restent à jour. Il nous a aussi dit qu’en rentrant les données sur le portail, celles qui doivent apparaître sous forme de lignes et non de points, le feront automatiquement.

Nous avons fini la journée par l’envoi d’un mail récapitulatif au référent de la commune.

JOUR 4 – PUBLICATION

Et c’est parti pour cette quatrième journée dédiée à la publication des données ! Après la réunion collégiale devenue habituelle, notre groupe fait le point autour des friandises apportées par Sharmilie. La première mission de la matinée a été de créer chacun nos comptes sur le site d’ouverture de la donnée de la Métropole Européenne de Lille (MEL) afin d’avoir la capacité de publier nos travaux une fois ces derniers validés par notre référent. Ensuite, nous avons pris connaissance des tâches présentées sur l’OpendataCanvas pour organiser notre journée et informer notre référent auprès de la commune sur les étapes à venir.

Après, une réunion d’une trentaine de minutes avec Guillaume, chacun s’est vu accordé une tâche pour parvenir à régler les derniers détails avant la publication des données. Au programme : la récolte des dernières données pour les commerces acceptant les contenants (appels téléphoniques), rédaction des fiches descriptives et standardisation des jeux de données. Nous avons également commencé le plan de communication en attendant d’établir un contact avec le responsable de la communication de la commune de Lambersart. Une fois celui-ci contacté, nous avons été informés des canaux de diffusion dans le cadre de la stratégie de communication de l’opération (réseaux sociaux, magazine MEL, Lambersartinfo). Ainsi, nous avons pu rédiger un court article à la demande du chargé de communication de la Mairie de Lambersart. En parallèle, nous avons publié nos jeux de données en parvenant à afficher la cartographie associée (biobox, parking à vélos, aménagements cyclables, commerces acceptant les contenants extérieurs).

Nous avons appelé un responsable numérique de la MEL pour qu’il nous explique comment résoudre le problème sur l’aménagement des jeux de données, que nous remercions pour avoir pris le temps de nous aider.

Enfin, nous avons fini la journée par créer de la métadonnée en précisant la description de chaque colonne pour chacun des jeux de données. Nous avons repris les descriptions de schémadatagouv pour qu’elles soient standardisées. Nous pouvons alors demander la validation de nos travaux de notre contact au sein de la MEL pour la publication effective des jeux de données et des cartes.

JOUR 5 – VALORISATION

Nous commençons notre dernière journée dans la bonne humeur (malgré la fatigue) avec le petit-déjeuner apporté par Mikhaël et Ludovic.

Comme tous les matins, nous avons pris connaissance de l’Open Data Canvas, et simultanément, nous avons pu admirer le fruit de notre travail sur le site Open Data de la Métropole Européenne de Lille ! Voici ci-dessous par exemple une capture d’écran de la carte des commerces acceptant les contenants extérieurs à Lambersart.

Place aujourd’hui à la “datavisualisation”, qu’on a initialement du mal à aborder. En attendant la réunion matinale avec Guillaume, nous avons exploré les datavisualisations possibles avec les jeux de données dont nous disposons. Lors de notre discussion avec Guillaume, il nous a fait part de la sophistication des graphiques que nous avons repéré et nous a montré le site Flourish qui pouvait nous servir et être plus accessible pour qu’on puisse créer des datavisualisations en accord avec nos jeux de données.

Après l’élaboration d’une “to-do list” très longue, nous avons su équitablement répartir les différentes tâches et nous nous sommes mis rapidement au travail, tout en se soutenant et s’entraidant. Alors que certains se sont chargés de créer les datavisualisations et de contacter nos référents chez la MEL et à Lambersart, d’autres ont préparé le visuel pour l’infographie à préparer pour la restitution de ce soir prévue à 17h ou se sont chargés de rédiger l’introduction du carnet de bord pour présenter à la fois le projet Challenge Data et la ville de Lambersart. Par ailleurs, nous avons rédigé les contextes de la datavisualisation pour chaque jeu de données, y compris ceux qui n’étaient pas officiellement publiés sur la plateforme de la MEL. Ces tâches nous ont fait rencontrer d’autres obstacles, notamment le constat que certaines données n’étaient pas lisibles à l’œil humain sur la plateforme de la MEL, ce que nous avons vite résolu.

Ces tâches ont nécessité une forte concentration et concertation de tous les membres du groupe pour éviter quelconque incohérence au sein de nos missions.

Nous avons fini par envoyer les rendus finaux à nos correspondants municipaux avant de faire le véritable rendu ce soir auprès de l’ensemble de la mairie de Lambersart. Nous sommes un peu déçus que deux des jeux de données (parking à vélos, aménagements cyclables) n’aient pas été publiés sur le site de la MEL.

Liens :

Datavisualisation - Liste des commerces acceptant les contenants extérieurs : https://opendata.lillemetropole.fr/explore/dataset/fichiers_commerces_contenants_exte-rieurs_lambersart/map/?disjunctive.type_de_contenants&location=13,50.64915,3.02781&basemap=jawg.streets

Datavisualisation - Localisation des biobox : https://opendata.lillemetropole.fr/explore/dataset/fichiers_biobox_lambersart/map/?location=14,50.64924,3.02545&basemap=jawg.streets

Datavisualisation - Part des véhicules à faibles émissions dans le renouvellement du parc de la ville :https://www.canva.com/design/DAFS8d_5RuY/qC43MgFt6wgp0v70nrWGxg/view?utm_content=DAFS8d_5RuY&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

Présentation Canva finale : https://www.canva.com/design/DAFS9EvSfD4/Urc_AO0JKyA_tYeBsVP7Sw/view?utm_content=DAFS9EvSfD4&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

CONCLUSION

Globalement, tout le groupe 16 redoutait cette semaine de Challenge Data, n’ayant aucune familiarité avec les données et craignant les missions fastidieuses qui allaient nous être confiées dans le cadre de cette fameuse semaine.

Grâce à un esprit d’équipe solide et une bonne entente entre tous les membres, mais également nos compétences personnelles relevant du sens du relationnel, nous avons réussi à accomplir nos missions de façon organisée et également répartie. Finalement nous sommes satisfait du résultat des efforts collectifs fournis par le groupe 16 dans la production et la publication de nos jeux de données en ligne.

Avec un départ ambitieux vis-à-vis de nos jeux de données, nous étions contraints de retirer l’un d’entre eux du fait de la non-accessibilité de celles-ci (pour les chemins de randonnée). Finalement, notre travail d’équipe a permis d’améliorer la qualité de 5 jeux de données, dont 3 actuellement publiés sur la plateforme Open Data de la MEL. Concernant la réaction de la commune, notre interlocuteur à Lambersart a énormément apprécié notre travail, ce qui a été confirmé par nos échanges par mail et au téléphone.

Nos principales réussites sont sans aucun doute la bonne et égale répartition des tâches, la détermination de tous à bien exécuter celles-ci et notre compréhension progressive d’enjeux divers relatifs à la donnée. Ces enjeux incluent : la diversité des outils à notre disposition pour analyser, visualiser et télécharger des données (UMap, Openstreetmap, la différence entre geojson, csv et xlsx, les sites permettant la visualisation de fichiers Geojson, parmis d’autres, par exemple) ou encore le nombre d’informations pouvant être rattachées à un seul jeu de données, comme en l’occurrence pour notre jeu de données relatif à la part de véhicules municipaux à faibles émissions qui inclut une soixantaine de colonnes.

Quant à nos “casse-têtes”, certaines tâches nécessitaient un travail fastidieux, comme lors de la modification du jeu de données sur la plateforme de la MEL pour qu’il soit lisible à l’oeil humain, alors que nous avions passé le début de la semaine à rendre nos données lisibles pour les machines, ou encore l’appel des différents commerces pour savoir s’ils acceptent les contenants extérieurs. Par ailleurs, nous étions déçus que nos jeux de données sur les aménagements cyclables et les parkings à vélos ne soient pas publiés considérant le travail que cela nous a demandé. Cependant, et malgré la divergence au sein des emplois du temps, nous avons réussi à produire et publier des jeux de données et ce fut un plaisir de voir le résultat concret de notre travail sur la plateforme, notamment avec la disponibilité de cartes rendant visible la localisation des commerces acceptant des contenants extérieurs, des parkings à vélo, des biobox ou encore des aménagements cyclables.

En qualité d’étudiants en sciences politiques, nous nous sommes rendu compte des difficultés que peuvent rencontrer les collectivités territoriales dans le traitement des données, considérant que les agents ne sont pas tous forcément formés à cet égard. Par ailleurs, alors que nous avions plusieurs interrogations sur l’utilité de la donnée, nos échanges avec les interlocuteurs lillois et lambersartois mais également avec les datactivists qui nous ont accompagné nous ont permis de saisir les différentes modalités d’utilisation des données, que ce soit pour des fins municipales, politiques ou même associatives.

A l’issue de cette semaine, nous souhaitons remercier dans un premier temps Guillaume, notre référent Datactivist, mais également toute l’équipe, de nous avoir accompagné tout au long de la semaine. Nous remercions également nos interlocuteurs à Lambersart et au sein de la Métropole Européenne de Lille (MEL) de nous avoir fait confiance avec les données utilisées, mais également de nous avoir aidé avec la plateforme de la MEL !

Cette semaine fut enrichissante et pleine d’émotions !