class: center, middle, inverse, title-slide # L’open data pour mon entreprise ? ### Joël Gombin, Datactivist ### 18 décembre 2019 --- layout: true <div class='my-footer'><span>IRCE</span> <center><div class=logo><img src='https://github.com/datactivist/slides_datactivist/raw/master/inst/rmarkdown/templates/xaringan/resources/img/fond_noir_monochrome.png' width='100px'></center></span></div> --- class: center, middle Ces slides en ligne : http://datactivist.coop/irce/ Sources : https://github.com/datactivist/irce/ Les productions de Datactivist sont librement réutilisables selon les termes de la licence [Creative Commons 4.0 BY-SA](https://creativecommons.org/licenses/by-sa/4.0/legalcode.fr). <BR> <BR>  --- ## Qui sommes-nous ? <BR><BR><BR><BR> [](https://datactivist.coop) ### We .red[open data], we make them .red[useful] --- ## Qui sommes-nous ?  --- ## Qui sommes nous ? - Datactivist est un .red[**pure player de l’open data**] créé en 2016, par Samuel Goëta et Joël Gombin. - Se positionnant sur .red[**toutes les étapes du travail d’ouverture des données**], Datactivist travaille tant avec les producteurs de données qu’avec les réutilisateurs et participe à l’appropriation des données par chacun. - Nous appliquons nos propres .red[**valeurs**] : nous sommes une coopérative ; nos supports de formation et nos contenus sont librement réutilisables, publiés en licence Creative Commons. - Une approche issue de la recherche : voir notamment **https://datactivist.coop/these**. - Nous animons la communauté [#TeamOpenData](https://teamopendata.org). --- ## Nos activités - Conseil sur les .red[**stratégies d’ouverture de données**] : nous aidons les organisations dans la conception et la mise en œuvre de leur stratégie d’ouverture de données. - .red[**Accompagnement dans la réutilisation de données ouvertes**] : nous aidons les organisations à utiliser les données au quotidien. - .red[**Sensibilisation et formation à la donnée**] : nous formons à la culture générale des données, nous enseignons les grands principes et bonnes pratiques de l'open data et nous introduisons à la data science. - .red[**Médiation de données**] : nous organisons des hackathons, des open data camps, des expéditions de données... ??? La médiation de données est aussi fondamentalement une animation de communauté(s). --- ## À l'ordre du jour 1. Les données : de quoi parle-t-on ? 2. Pourquoi utiliser les données ouvertes ? 3. Atelier collaboratif - Recensement des données manipulées au sein de l'entreprise, des sources de données ouvertes adaptées à l'entreprise et des usages potentiels --- class: inverse, center, middle # .red[Les données : de quoi parle-t-on ?] ## Data, big data, open data… --- class:middle, center ## Echauffement : ### 5 minutes, 20 données Vous avez 5 minutes Vous devez trouver 20 données dans notre environnement immédiat Pas de recours aux écrans ! .footnote[[source](http://infolabs.io/5-minutes-20-donnees)] --- class:center,inverse, middle # Qu'est-ce # qu'une donnée ? --- class:center,inverse, middle #D'après vous ? --- # Le censeur à Rome, ancêtre de la statistique .center[.reduite3[]] .footnote[Source : *Asterix chez les pictes*, © Albert René 2013] --- # Le censeur à Rome, ancêtre de la statistique .center[.reduite3[]] .footnote[*Asterix chez les pictes*, © Albert René 2013] --- ## La statistique : outil de gouvernement et de preuve .pull-left[.middle[La statistique est à la fois : + **outil de gouvernement** (_Statistik_ - 18e siècle), et + **outil de preuve** (_statistics_ - 19e siècle)]] .pull-right[.reduite2[]] --- ## [Quantifier, c'est convenir puis mesurer](http://www.pressesdesmines.com/media/extrait/PourSocioHistExtr.pdf) .pull-left[ > Le verbe quantifier est employé ici dans un sens large : **exprimer et faire exister sous une forme numérique ce qui, auparavant, était exprimé par des mots et non par des nombres**.] .pull-right[.reduite2[]] --- ## [Quantifier, c'est convenir puis mesurer](http://www.pressesdesmines.com/media/extrait/PourSocioHistExtr.pdf) .center[.reduite3[]] .footnote[*Asterix chez les pictes*, © Albert René 2013] --- ## Quantifier, c'est inscrire et figer une réalité sans cesse mouvante .center[.reduite3[]] .footnote[*Asterix chez les pictes*, © Albert René 2013] --- ## Etymologie ### Latin : _dare_ (donner) > _datum_ (donné) > _data_ (donnés) <br/><br/> Ce qui est évident, va de soi, est accepté sans discussion <br/><br/> > From its first vernacular formulation, the existence of a datum has been independent of any consideration of corresponding ontological truth. When a fact is proven false, it ceases to be a fact. False data is data nonetheless. .footnote[[Rosenberg, 2013](https://mitpress.mit.edu/books/raw-data-oxymoron)] --- ## Usage de "data" Le sens moderne apparaît à la fin du 18e siècle. Renvoie à des expériences, des collectes d'éléments. [](https://books.google.com/ngrams/graph?content=data&year_start=1800&year_end=2000&corpus=15&smoothing=3&share=&direct_url=t1%3B%2Cdata%3B%2Cc0) --- # "Datafication" : la mise en données du monde > “L'immense gisement de données numériques découle de la capacité à paramétrer des aspects du monde et de la vie humaine qui n'avaient encore jamais été quantifiés. On peut qualifier ce processus de **« mise en données » (datafication)**. > […] “La mise en données désigne autre chose que la numérisation, laquelle consiste à traduire un contenu analogique - texte, film, photographie - en une séquence de 1 et de 0 lisible par un ordinateur. Elle se réfère à une action bien plus vaste, et aux implications encore insoupçonnées : **numériser non plus des documents, mais tous les aspects de la vie**.” .footnote[[Kenneth Cukier, “Mise en données du monde, le déluge numérique”](https://www.monde-diplomatique.fr/2013/07/CUKIER/49318)] --- ## La "nombrification" du monde .pull-left[.reduite[]] .pull-right[ > La numérisation ne serait pas survenue sans une "nombrification" préalable qui consiste à quantifier de plus en plus d'aspects de notre expérience du réel. > **Au commencement était le verbe, il semble à la fin que tout devient nombre.** > Personne ne saurait parler sérieusement de l'état de la société et discuter politique sans se référer aux informations quantitatives.] --- # Le nouveau positivisme des données > *If you asked me to describe the rising philosophy of the day, I’d say it is **data-ism**. We now have the ability to gather huge amounts of data. This ability seems to carry with it certain cultural assumptions — that everything that can be measured should be measured; that data is a transparent and reliable lens that allows us to filter out emotionalism and ideology; that data will help us do remarkable things — like foretell the future.* Jeff Brookes, éditorialiste du New York Times --- ## Aux sources de la mise en données du monde .pull-left[ - Rencontre, dans la Californie des années 1960, entre la Nouvelle Gauche et les Nouveaux Communalistes sur fond de LSD et de recherche militaire - L'inspiration de la cybernétique (N. Wiener) : objets techniques et êtres humains constituent un même système sociotechhnique, régulé par l'information - Exemple de Steward Brand, fondateur du _Whole Earth Catalog_ puis de Wired => ["Forest Gump de l'Internet"](https://questionsdecommunication.revues.org/8619)] .pull-right[ .reduite2[]] --- ## "Raw data" is an oxymoron .pull-left[ > Data are always already “cooked” and never entirely “raw.” > Data need to be imagined _as_ data to exist and function as such, and the imagination of data entails an interpretive base.] .pull-right[ ] .footnote[[Source](https://mitpress.mit.edu/books/raw-data-oxymoron)] --- class:inverse, middle, center # Vers une définition des données --- ## La pyramide Data-Information-Knowledge-Wisdom .pull-left[ [](https://commons.wikimedia.org/w/index.php?curid=37705247) ] .pull-right[Attribuée à [Russell Ackoff](http://en.wikipedia.org/wiki/Russell_L._Ackoff), 1989 Les données peuvent être des : - faits - signal/stimulis - symboles] --- # Vers une définition .pull-left[.reduite3[  ⏺ enregistrabilité +🏗 briques de base ("*buildings blocks*")]] .pull-right[ > *Data are commonly understood to be the raw material produced by **abstracting the world** into categories, measures and other representational forms – numbers, characters, symbols, images,sounds, electromagnetic waves, bits – that constitute the **building blocks** from which information and knowledge are created.*] --- # Data or capta ? > Technically, then, what we understand as data are actually **capta** (derived from the Latin capere, meaning ‘to take’); those units of data that have been selected and harvested from the sum of all potential data. [Kitchin, 2014](https://books.google.fr/books?hl=fr&lr=&id=GfOICwAAQBAJ&oi=fnd&pg=PP1&dq=kitchin+data+revolution&ots=pcyfMTZh-V&sig=dQyPTL3AIN_4RdWvtBFw4VjdAa4#v=onepage&q=kitchin%20data%20revolution&f=false) --- # Données ou obtenues ? > Décidément, on ne devrait jamais parler de “données”, mais toujours d’ “obtenues”. [Bruno Latour, 1993](http://www.bruno-latour.fr/fr/node/255) --- class:center, middle, inverse # Données, données... quelles données ? --- ## Données quantitatives .pull-left[ Différents types de variables : - nominale : des catégories que l’on nomme avec un nom (marié/célibataire/divorcé/veuf) - ordinale : échelle de mesure dotant chaque élément d'une valeur qui permet leur classement par ordre de grandeur (faible, moyen, fort) - intervalles : l’intervalle entre deux catégories àatoujours la même valeur (12-16°C / 16-20°C / 20-24°C) ] .pull-right[  ] --- ## Données qualitatives .pull-left[ Non numérique => texte, image, vidéo, son, musique... + peut être convertie en données quantitatives + risque de perdre la richesse des données originales + analyse qualitative de données ] .pull-right[  ] --- ## Exemple : les annotations en text mining .reduite[] --- ## Données structurées .pull-left[ Des données dotées d'un modèle qui définit les relations entre les composantes de la base de données + Ex : base de données relationnelle SQL + Lisibles machine + Faciles à analyser, manipuler, visualiser... ] .pull-right[  ] --- ## Données semi-structurées .pull-left[ Pas de modèle prédéfini : structure irrégulière, implicite... mais données organisées néanmoins, ensemble raisonnable de champs Exemple : XML, JSON Possible de trier, ordonner et structurer les données ] .pull-right[  ] --- ## Données non structurées .pull-left[Pas de structure commune identifiable Exemple : BDD NoSQL Généralement qualitatives Difficilement combinées ou analysées quantitativement Les données non structurées croitraient 15x plus que les données structurées Machine learning de + en + capable d'analyser ces données.] .pull-right[  ] --- ## Données capturées, échappées, transitoires ** Données capturées** Observation, enquête, expérimentation, prise de notes, senseurs... => intention de générer des données ** Données échappées** Sous-produit d'un engin ou d'un système dont la fonction première est autre ** Données transitoires** Echappées qui ne sont jamais examinées, transformées ou analysées --- ## Données dérivées Résultat d'un traitement ou une analyse supplémentaire de données capturées. Exemple avec les [données de Google Maps](https://www.justinobeirne.com/google-maps-moat) :  --- ## Données dérivées .reduite2[] --- ##Index, attributs, métadonnées **Index** Des données permettent l'identification et la mise en relation. Essentielles pour enrichir les données. Exemple : SIRET. **Attributs** Des données représentent les aspects d'un phénomène, mais ne sont pas des index (pas identifiants uniques). **Métadonnées** Des données sur les données. Peuvent être descriptives, structurelles ou administratives. Exemple de standard : le [Dublin Core](https://fr.wikipedia.org/wiki/Dublin_Core). --- ## Les données crowdsourcées .pull-left[Des données produites par des citoyens, des communs partagés et gouvernés par leurs producteurs Exemple : OpenStreetMap, le wiki de la carte] .pull-right[ .reduite[] ] --- class:inverse, middle, center # De l'open data au big data --- ## Open data : quelques jalons historiques  --- ## 07 Décembre 2007 : la rencontre de Sebastopol .pull-left[ 👥 **Quoi ?** Une rencontre de l'Open Governement Group à Sebastopol (Californie), siège des éditions O'Reilly 🎯 **Pourquoi ?** : Influencer le futur président des Etats Unis pour faire avancer l'open data 📜 **Comment ?** En adoptant une déclaration définissant les grands principes de l'Open Government Data ] .pull-right[  ] --- class:middle, center  # Revue des principes --- class: middle, center # 1. Des données complètes ### Toutes les données publiques doivent être rendues disponibles dans les limites légales liées à la vie privée ou la sécurité --- class: center, middle  # BY DEFAULT --- class: middle, center # 2. Des données primaires ### Les données ouvertes sont telles que collectées à la source, non-agrégées avec le plus haut niveau de granularité --- class: middle, center # 3. Des données fraiches (*timely*) ### Les données doivent être disponibles dès qu'elles sont produites --- class: middle, center # 4. Des données accessibles ### Les données doivent être utilisables par le plus grand nombre d’usagers potentiels --- class: middle, center # 5. Des données exploitables par les machines ### Les données peuvent être traitées automatiquement par les machines --- class: middle, center # 6.Des données non discriminatoires ### Elles peuvent être utilisées par tous sans réclamer un enregistrement préalable --- class: middle, center # 7. Des données dans un format ouvert ### Ce format ne doit pas être la propriété d'une organisation en particulier (.xls) et doit être gouvernée par ses usagers --- class: middle, center # 8. Des données dans une licence ouverte ### Idéalement dans le domaine public sinon dans une licence conforme à l'[Open Definition](www.opendefinition.org) : Licence Ouverte (CC-BY) ou ODBL (CC-BY-SA) --- ## Défi 1 : la découvrabilité des données .pull-left[ > Data findability is a major challenge. We have data portals and registries, but government agencies under one national government still publish data in different ways and different locations.(…) **Data findability is a prerequisite for open data to fulfill its potential and currently most data is very hard to find.** ] .pull-right[  .footnote[https://index.okfn.org/insights/] ] --- class:middle, center  --- ## Défi 2 : le problème de la qualité .pull-left[ >**Government data is usually incomplete, out of date, of low quality, and fragmented.** In most cases, open data catalogues or portals are manually fed as the result of informal data management approaches. **Procedures, timelines, and responsibilities are frequently unclear among government institutions tasked with this work.** ] .pull-right[  .footnote[http://opendatabarometer.org/4thedition/report/] ] --- ## Exemple de données ouvertes: la base SIRENE .center[.reduite2[]] --- ## La base SIRENE : exemple de cas d'utilisation .reduite[.center[]] --- ##Exemple de données ouvertes : la base adresses .reduite[.center[]] --- ##Exemple de données ouvertes : les accidents de la route .reduite[.center[]] --- ## Les accidents de la route .reduite2[.center[]] .footnote[Plus d'accidents sur l'A8 mais surtout plus de véhicules…] --- ## Les accidents de la route .reduite2[.center[]] .footnote[[Carte par Joël Gombin dans Marsactu](https://joelgombin.github.io/marsactu_accidents/chronique.html)] --- ## Les inspections des restaurants .reduite2[.center[]] .footnote[[Résultats des contrôles officiels sanitaires : dispositif d'information « Alim’confiance »](https://www.data.gouv.fr/fr/datasets/resultats-des-controles-officiels-sanitaires-dispositif-dinformation-alimconfiance/)] --- ## Les inspections des restaurants .reduite2[.center[]] .footnote[[26 établissements au niveau d'hygiène à corriger de manière urgent ](https://dgal.opendatasoft.com/explore/embed/dataset/export_alimconfiance/map/?disjunctive.app_libelle_activite_etablissement&disjunctive.filtre&refine.synthese_eval_sanit=A%20corriger%20de%20mani%C3%A8re%20urgente&location=6,47.24195,5.00977&static=false&datasetcard=true)] --- ## Big data  --- ## L'obsession du volume de données .pull-left[ **Quelques chiffres omniprésents** : - le volume de données produit double tous les 3 ans (Gantz & Reisel 2011) - 90% des données créées dans les deux dernières années (IBM 2012) - 40% : croissance annuelle de la production de données (Maniyka et al. 2011) ] .pull-right[ **Problèmes de cette approche** : - Estimations guidées par des intérêts commerciaux - Ne définit pas ce que sont ces données - Résume le big data au Volume -Explique mal la mise en données du monde ] --- ## Les promesses du big data Kitchin (2014) résume les promesses du big data : - **“Governing people”** : dans la continuité de la statistique, améliorer la connaissance de l’administration et prédire les crimes - **“Managing organisations”** : améliorer le fonctionnement de toutes les composantes de l’organisation par l’exploitation des données - **“Leveraging value and producing capital”** : micro-ciblage marketing, optimisation des magasins et des opérations, efficience de la chaine - **“Creating Better places”** : gouverner les villes avec des données (smart city) - **Un nouveau paradigme scientifique** : une nouvelle ère guidée par les corrélations --- ## API .pull-left[ - Application programming interface => un programme vu de la surface - les machines parlent aux machines - donnée dynamique => ouverture potentiellement limitée et contrôlée - un exemple : [overpass turbo](https://overpass-turbo.eu/)] .pull-right[  ] --- class:inverse, middle, center # Modèles économiques --- ## Les 3 facettes de la valeur des données .pull-left[ - La donnée comme **matière première** : revendue par celui qui la collecte ou l'agrège. - la donnée comme **levier** : utilisée sans marchandisation, par exemple pour réduire les coûts ou développer les revenus. - la donnée comme **actif stratégique** : une arme pour prendre pied sur un marché, ou défendre son positionnement.] .pull-right[.reduite2[]] --- ## Les data brokers : la vie privée comme matière première - 👻 Des entreprises inconnues du grand public : **Acxiom, Epsilon, Experian**. - 💰 Un marché estimé par le Congrès américain à 156 milliards de dollars en 2012. - 🕵 "Data brokers are worse than the NSA" (Sénateur Rockefeller) : aucune transparence ni véritable régulation aux US. - 🔍 En moyenne, 200 points de données sur chaque individu aux Etats Unis. Plus de 50 000 sources. - 🚰 Sources : données publiques (permis de construire, registres des naissances, casiers judiciaires…), cookies, données d'achat, cartes de fidélité, données téléphoniques, recherches en ligne… --- ## Une dépossession de la vie privée .pull-left[ > *Data brokers take public and private information, aggregate it into products and monetize it. *[…] > *Through the combination of data possession and innovation, data brokers **claim ownership of our data.**"* ] .pull-right[ [.reduite2[]](https://books.google.fr/books/about/Healthcare_and_Big_Data.html?id=yOwmDQAAQBAJ&redir_esc=y) ] --- ## La donnée comme levier .pull-left[- Utiliser les données **pour son propre compte** sans monétisation directe auprès d'un tiers - Données : leviers pour mieux allouer ressources ou développer le résultat - Possibilité de compléter ou développer le modèle d'affaires]  .pull-right[  ] --- ## La donnée comme actif stratégique .pull-left[ Utiliser des données pour soutenir un modèle économique, acquérir ou défendre une position au sein d'un écosystème ] .pull-right[  ] --- class: inverse, center, middle # Pourquoi utiliser les données ouvertes ? --- ## Réutiliser l'open data : quels .red[usages] ? - Améliorer l’intelligence économique de l’entreprise grâce à cette nouvelle source d’information - Sourcing d’appel d’offres - Prospection - Veille concurrentielle et analyses de marché - Développer de nouvelles opportunités d’activités : - Pour améliorer l’expérience client - Nouveaux produits et services développés autour de la donnée ou produits enrichis par l’open data - Optimisation des activités opérationnelles et de la prise de décision --- ## .red[Prospection] : établir un fichier de prospection grâce à l'Open Data  --- ## Sourcing d'appel d’offres : données sur .red[les marchés publics] .pull-left[ - Les données sur les marchés publics sont publiées ex post, en open data depuis octobre 2018 (DECP) - Consultations : [données ouvertes du BOAMP](https://www.data.gouv.fr/fr/datasets/boamp/), problème des DCE (mais voir [nouma.fr](http://nouma.fr), [j360.info](http://j360.info), etc.) - Intentions d'achat : sujet qui commence à émerger, projets CR Bretagne (Megalis), Ville de Paris, SGAR Occitanie… ] .pull-right[  ] --- ## Développer de nouveaux services : dans la prospection, (feu) C-Radar .pull-left[  ] .pull-right[ Plateforme proposant de l’information sur les sociétés, issue de l’Open Data et de données sur le web: - données INSEE (SIRENE) - données DILA (Bodacc) - données INPI - données Infogreffe - données des réseaux sociaux - données des sites Web sociétés et médias ] (C-radar a été racheté en 2017 par Sidetrade) --- ## Développer de nouveaux services : dans .red[la prospection et la veille], Due Dil .pull-left[  ] .pull-right[ - Société basée à Londres, fondée en 2011 - Outil procurant de l'information sur 40 millions de sociétés privées dans 9 pays européens (données financières, structures de groupe, litigations, profils de directeurs,...) - Usage de l'open data : données provenant par exemple de Companies House, auxquelles s'ajoutent d'autres sources de données ] --- ## Veille & analyses de marché : VroomVroom.fr .reduite[] Moteur de recherche créé en 2013 mettant à disposition les taux de réussite (taux officiels fournis par la Délégation à la Sécurité routière (DSR)), les avis authentiques de candidats et les prix de toutes les auto-écoles de France. --- ## Développer de nouveaux services : dans les transports, .red[Citymapper] .pull-left[  ] .pull-right[ - Application née grâce à l'ouverture des données dans le secteur du transport - Service d'information à destination des citadins pour trouver le meilleur trajet pour se déplacer dans les grandes villes mondiales - A conduit à la [création par Citymapper d'une ligne de bus](https://citymapper.com/news/1800/introducing-the-citymapper-smartbus) ! ] --- ## Usages potentiels / réutilisation de l'Open Data .center[] --- class: inverse, center, middle # Atelier collaboratif --- ## Méthodologie de l'atelier de travail - Choix d'un projet et des objectifs stratégiques associés (10 mn) - Recensement des données qui vous seraient utiles (45 mn) - Recensement des données manipulées au sein de l'entreprise (45 mn) - Recensement des sources de données ouvertes adaptées à l'entreprise et des usages potentiels (45 mn) - Plan d'action (20 mn) --- ## Choix d'un projet et des objectifs stratégiques associés --- ## Recensement des données qui vous seraient utiles Réfléchir librement, sans contrainte, être créatif ! (20 mn) --- ## Recensement des données qui vous seraient utiles Restitution et analyse : - utilité - existence - disponibilité - coût - légalité / RGPD (20 mn) --- ## Recensement des données qui vous seraient utiles Restitution et analyse .center[.reduite2[]] --- ## Recensement des données manipulées au sein de l'entreprise - Recensement (20 mn) - Restitution (20 mn) --- ## Recensement des sources de données ouvertes adaptées à l'entreprise et des usages potentiels - Travail de projection sur les données potentielles qui appuieraient l'activité (type de donnée / source) et projection sur usages potentiels & les priorités (20 mn) - Mise en commun (20 mn) --- ## Ébauche d'un plan d'action - Choisir 2 ou 3 jeux de données - sourcing (où ?) - exploitation (on en fait quoi ?) - collecte (comment ?) - Évaluation de la qualité - exactitude - fraîcheur/mise à jour - granularité - ... - Restitution (20 mn) --- class: invese, center, middle # Merci ! Contact : [joel@datactivist.coop](mailto:joel@datactivist.coop)