Catégorie : Données & mesure

Saviez-vous que vous rencontrez plus régulièrement des nombres qui commencent par le chiffre « 1 » que des nombres qui commencent par le chiffre « 9 » ? Ce résultat surprenant fait l’objet de nombreuses publications mais n’est pas encore largement connu dans le monde de l’entreprise. Pourtant, à l’heure du tout digital, cette loi constitue un outil intéressant pour lutter contre les falsifications des données dans le traitement numérique de masse. Après une introduction théorique jalonnée d’exemples, on expliquera comment tester concrètement vos données avec l’aide d’un fichier Excel en décrivant certaines bonnes pratiques d’utilisation. À vos marques, prêts, partez !

La loi de Benford

Énoncée simplement elle stipule que dans une liste numérique quelconque, si vous regroupez les nombres selon leur premier chiffre significatif, vous en dénombrerez plus qui commencent par « 1 » que par « 2 », plus par « 2 » que par « 3 », et ainsi de suite jusqu’à « 9 ».

Par exemple : le registre des amortissements des biens de la ville de Paris – accessible en Open Data – dénombre plus de 40 000 valeurs de biens à l’achat avec un montant exprimé en euros. En analysant cet échantillon de données, j’ai pu mettre en évidence les fréquences d’apparition du premier chiffre significatif comme suit :

Analyse de Benford des acquisitions de la ville de Paris par rapport à la loi statistique théorique, opendata.paris.fr – décembre 2017

Ce qui frappe c’est que ces fréquences semblent strictement décroissantes alors que notre intuition, façonnée par les tirages uniformes que produit l’informatique, les attendrait équiprobables. Pourtant, il ne s’agit pas d’un biais de l’échantillon mais bel et bien d’un phénomène de fond connu sous le nom de son codécouvreur : la loi de Benford. Le phénomène avait été décrit dès 1881 par l’astronome Simon Newcomb, avant d’être redécouvert et popularisé par le physicien Frank Benford en 1938. Des études portant sur des milliards de données diversifiées (mathématiques, géographiques, financières etc) ont montré que ce résultat de Benford est persistant.  Si la loi fut d’abord empirique, il est maintenant prouvé qu’elle est rigoureusement vraie pour certains types de données. On l’exprime par la formule suivante :

P(c) = Log₁₀(1 + 1/c) avec c pour le premier chiffre significatif à prendre parmi {1,2,3,4,5,6,7,8,9} et P(c) la probabilité associée à sa fréquence d’apparition.

Faites l’expérience suivante : prenez un journal au hasard, ouvrez une page au hasard et relevez le premier nombre contenu dans la page. Vous aurez environ Log₁₀(1 + 1/1) = Log₁₀(2) ≈ 30 % de chance qu’il commence par un « 1 » et seulement Log₁₀(1 + 1/9) ≈ 4,6 % de chance qu’il commence par un « 9 ». Ce résultat est si étonnant que l’on voit tout de suite le potentiel d’un jeu de hasard exploitant ce résultat 😉

Dans cette loi, il existe aussi une formulation de second niveau qui porte sur les k-ièmes chiffres significatifs. La probabilité devient quasiment équilibrée dès le 4^e chiffre significatif. En d’autres termes un « 1 » a quasiment autant de chances d’apparaître qu’un « 9 » dès que l’on avance dans la composition d’un nombre dans sa forme canonique.

Des propriétés singulières

La propriété la plus remarquable est que la loi de Benford est invariante par changement d’échelle (scale invariance). En d’autres termes, si l’on compile des données financières exprimées en euros et qui suivent la loi de Benford, la transformation de ces données dans une autre devise suivra également la loi ! Pour les curieux, il existe une démonstration simple de l’invariance par la multiplication.

Autre conséquence : la loi reste valable indépendamment de la base numérique choisie. Dire que l’on suit cette loi dans la base 60 – la base sexagésimale, celle du système heure, minute, seconde – revient à la probabilité donnée par la formule P(c) = Log₆₀(1 + 1/c), avec c à prendre cette fois parmi {1, …, 59}. Bref, la distribution reste « de Benford » si l’on décide de convertir des données dans n’importe quelle autre base !

Pour en savoir davantage sur l’aspect mathématique, je vous conseille l’article de Jean-Paul Delahaye (Pour La Science 351, décembre 2006) ou le billet d’Élise Janvresse sur le blog Images des mathématiques (CNRS). La page anglaise de Wikipedia sur le sujet contient également quelques informations complémentaires à ce sujet.

Pour l’heure on va souffler un peu et revenir à un domaine plus terre-à-terre…

Benford par la pratique : la détection de fraudes

Pendant près d’un siècle, ce résultat est resté une curiosité mathématique. La première intuition applicative revient à l’économiste Hal Varian qui, dès 1972, suggère de s’en servir pour repérer des données socio-économiques falsifiées (Benford’s Law, The American Statistician, vol. 26 n° 3, p. 65-66). Il faut attendre la fin des années 1980 pour que l’idée gagne la comptabilité, avec les travaux du chercheur néo-zélandais Charles Carslaw. Dans les années 1990, l’économiste américain Mark Nigrini popularise l’idée.

Propice à la comptabilité, cette idée peut en fait être transposée à d’autres départements comme la Qualité ou le Marketing ; dans un contexte où les données chiffrées sont devenues prépondérantes en entreprise. Des écarts trop importants à la loi peuvent être détectés et présager d’éventuelles erreurs ou fraudes. La réciproque, en revanche, est fausse : un fraudeur averti peut fabriquer des données parfaitement conformes à Benford, et l’adéquation à la loi ne prouve donc rien.

Mais concrètement, quels sont les outils existants pour tester la loi de Benford sur vos Data ? Si l’on peut trouver assez facilement des codes en MATLAB et Python, leur nature limite l’audience à des personnes plutôt aguerries.  Internet étant beaucoup moins prolixe en fichiers Excel de qualité, j’ai décidé de développer une solution moi-même. Voici deux fichiers légèrement différents que je partage de manière libre et qui vous permettront de tester facilement vos données :

Fichiers Excel

Analyse_Benford_Simple.xlsx

Permet de tester sur deux chiffres l’adéquation de vos données par rapport à la loi de Benford et de tracer les histogrammes de fréquence. Il est conseillé d’utiliser des échantillons significatifs de plus de 2 000 valeurs.

• La seule limite de taille est celle du nombre de lignes d’Excel, un peu supérieur à 1 million.
• L’adéquation à la loi est automatiquement évaluée par un test du khi-deux (par chiffre et par rang).
• Un manuel d’utilisation est intégré dans le fichier.

Advanced_Benford_Analysis.xlsm

Reprend les fonctionnalités du fichier précédent avec une analyse plus fine :

• Neuf rangs sont testés au lieu de deux (en pratique les quatre premiers ont un intérêt).
• Possibilité de tester les échantillons par lots avec un rapport détaillé au test d’adéquation du Chi-deux.
• Une fonction benfordProbability permet de calculer la probabilité dans la base de son choix, pour n’importe quel chiffre et n’importe quel rang.
• Le fichier est en anglais et contient un manuel d’utilisation succinct.
• Il est nécessaire d’autoriser les macros (VBA) pour que le code puisse s’exécuter.

 Domaines d’application et limites

Le domaine d’application de la loi est crucial et pourtant ce n’est pas évident de le déterminer a priori. Les données les plus candidates à suivre la loi doivent être étalées et régulières avec une taille d’échantillon significative.

Certains jeux de données ne suivent pas la loi de manière évidente : pas question de tester la loi sur la taille (la stature) des habitants d’un pays : la grande majorité mesure 1,x mètre. De même certaines enseignes pratiquent des prix de la forme x,99 € ce qui peut fausser le résultat sur les décimales. Pour d’autres échantillons c’est plus compliqué. Un bon échantillon de Benford au sens mathématique est engendré par la multiplication entre elles de variables indépendantes [1] ; ce critère n’est malheureusement pas utilisable facilement en pratique. Ce que l’on peut dire c’est que certaines données sont parfaitement en adéquation avec la loi, d’autres tendent vers la loi et d’autres ne fonctionnent pas sans qu’une fraude soit à suspecter.

En utilisant les bonnes pratiques du tableau ci-dessous, on écarte déjà un certain nombre de cas simples qui ne suivent pas la loi :

Récapitulatif des bonnes pratiques de sélection des échantillons à tester par Benford

Je dirais donc qu’il faut manier la loi avec prudence et garder un esprit critique sur les éventuels « faux positifs ». Des articles détaillés proposent d’autres bonnes pratiques en la matière [2] [3] et les plus aguerris d’entre vous pourront utiliser d’autres tests statistiques en complément du Chi-deux (test binomial, Kolmogorov-Smirnov etc.) pour affiner l’analyse. Gardez en tête que la loi de Benford est un outil très puissant mais qu’il ne faut pas conclure trop hâtivement si la corrélation du Chi-deux est inférieure à 95 %. Des investigations plus poussées doivent être menées lorsqu’un doute apparait.

Conclusion

In theory, theory and practice are the same. In practice, they are not.

Voilà qui résume bien la situation !
Gardez les yeux bien ouverts sur vos jeux de données 🙂👍🏻

Sources

[1]   Nicolas Gauvrit et Jean-Paul Delahaye, Pourquoi la loi de Benford n’est pas mystérieuse (2008)

[2]   J.M Pimbley, Benford’s Law and the Risk of Financial Fraud (2014)

[3]   Adrien Bonache, Jonathan Maurice, Karen Moris, Détection de fraudes et loi de Benford : quelques risques associés (2010)

Quels sont les différents types de données générées automatiquement ? Quel est le rapport entre l’IoT et le Big Data ? Et surtout, que peut-on attendre de la science des données pour l’Internet des Objets ? L’ambition de cet article est de tenter une réponse simple (et assez scolaire, je l’avoue) à ces questions compliquées et de développer un point de vue basé sur des publications d’acteurs de premier plan.
Bonne lecture 🙂 !

La data science commence dans notre environnement quotidien

Quel est le point commun entre passer ma carte de fidélité à la caisse du supermarché, utiliser mon application de géolocalisation favorite ou amener mon véhicule à un contrôle technique ? À priori aucun, en première approche ces situations sont très différentes. Et pourtant, le plus petit dénominateur commun de ces scènes de la vie courante c’est la production automatique de données ! Omniprésentes et invisibles, elles quantifient méticuleusement le monde réel sans que l’on y fasse particulièrement attention.

D’où viennent ces données automatiques ?

Cette remontée de data a plusieurs facteurs de déclenchement, que l’on peut classer en deux grandes catégories : les données à causalité humaine directe et celles qui sont produites par des machines, sans aucune intervention humaine.

Pour les causes humaines, on peut distinguer plusieurs sources de déclenchement : les actions physiques (passage d’un portique, déclenchement d’une chasse d’eau, etc.), les interactions avec un terminal numérique (application, borne numérique, etc.) et les enregistrements d’informations dans un fichier (formulaire, communication de données personnelles etc.). Discrétisés puis consignés, nos faits et gestes quotidiens alimentent à notre insu de gigantesques entrepôts de données.

Contrairement à un tweet ou à une photo, une donnée générée automatiquement n’est pas le fruit de notre volonté immédiate

L’autre production de data provient des machines. Plus restrictive, la relève à distance (télérelève) génère des données de manière régulière (mode temporisé) ou évènementielle (mode déclenché). Il s’agit d’une pratique courante pour remonter un grand nombre d’informations avec une tendance appelée à s’accélérer, comme nous allons le voir.

Bref point historique sur la télémétrie

La collecte d’informations issues de capteurs est utilisée dans l’industrie depuis la fin des années 1980, principalement à titre de maintenance préventive. Appelée Machine-to-Machine (M2M) cette télérelève est aujourd’hui supplantée par un autre concept dont on entend régulièrement parler : l’Internet des Objets (IoT). Comme son nom l’indique, cette manière de transmettre de l’information fonctionne à des échelles plus globales (Internet) et de préférence avec des objets-capteurs et non plus des machines. Ils ont ceci de différent que sans connectivité, l’objet ou le capteur perd toute utilité. À l’inverse, la connectivité dans une machine n’est pas essentielle : la retirer n’empêche en principe pas son bon fonctionnement. Pour parler de manière générale de tous ces types de terminaux, on utilise parfois le terme d’appareils connectés (devices).

Cependant, la différence IoT – M2M ne se limite pas seulement à la nature de l’appareil en bout de ligne et la valeur ajoutée de la connectivité. Elle est également technologique puisque les moyens de transmission, les réseaux utilisés, l’autonomie des appareils ou l’intelligence embarquée sont en principe différents. Mais elle est aussi et surtout conceptuelle : l’Internet des Objets impacte des secteurs beaucoup plus variés avec des cas d’usage multiples. Contrairement au M2M, l’exploitation des données issues de l’IoT est complexe et sert de socle à de la prise de décision. Ces données sont en général représentées avec des méthodes graphiques (data-visualisation). Enfin, le volume de données généré par l’IoT est en principe plus grand de plusieurs ordres de grandeur par rapport au M2M.

Humains ou machines, M2M ou IoT : la certitude est que le monde autour de nous est en permanence retranscrit en jeux de données qui sont de plus en plus volumineux.

Les appareils connectés vont devenir une source prépondérante dans la production de données

Souvenons-nous du temps analogique ! Durant des millénaires la production matérielle, intellectuelle et artistique assimilable à des données était exclusivement le fruit de l’Homme. Devenue digitale, la production engendrée par l’humain (documents, tweets, dessins industriels, photographies…) est vouée à devenir minoritaire face aux volumes générés automatiquement par les appareils connectés et les algorithmes. L’illustration ci-dessous montre que la part de l’IoT augmente régulièrement par rapport à l’ensemble des données produites et stockées à l’échelle de la planète. On appelle ce volume global l’Univers Numérique (ou DU pour Digital Universe) qui est lui-même en croissance forte.

Les systèmes embarqués de l’Internet des Objets génèrent des quantités de données en croissance exponentielle. Ils deviendront prochainement le premier volume de données.
Source : EMC/IDC, « Digital Universe of Opportunities », 2014

Des quantités de plus en plus importantes

Après 2010, le phénomène d’accélération dans la production de data a bénéficié d’une large couverture médiatique et d’une prise de conscience collective.
Cette année-là, Eric Schmidt, le patron de Google, estimait déjà que « tous les deux jours, nous produisons autant d’informations que nous en avons générées depuis l’aube de la civilisation jusqu’en 2003 ».

En 2017, on estime que la taille de l’Univers Numérique croît de 40 % par an ⁽¹⁾ ce qui, selon la prévision publiée par IDC et EMC en 2014, pourrait représenter 44 000 milliards de gigaoctets en 2020, soit 10 fois plus qu’en 2013 ⁽²⁾. N’essayez pas de vous représenter ce volume, cela dépasse l’entendement. (Mise à jour : les estimations rétrospectives situent le volume mondial de 2020 plutôt autour de 60 000 milliards de gigaoctets.)

Prévision du nombre d’objets connectés dans le monde : leur augmentation a un impact direct sur le volume d’informations croissant généré par l’IoT. Cette croissance est plus rapide que celle de l’Univers Numérique ce qui aboutit à un ratio Vol(IoT) de plus en plus important.
Source : Oliver Wyman, 2016

Avec 10 % de l’Univers Numérique en 2020 et en croissance exponentielle, on estime que les données brutes produites par l’ensemble des appareils connectés deviendront rapidement le volume de données le plus important. Il dépassera la production de type algorithmique qui se base sur l’analyse des jeux de données existants (modélisation, traitement statistique…) ou sur une production ex nihilo (cryptographie, simulation, apprentissage profond…) ainsi que la production humaine directe.

Boosté par la généralisation de l’IoT, le volume de données va exploser à l’échelle mondiale. Si le stockage de l’information semble aujourd’hui relativement maîtrisé, la question fondamentale tourne autour de l’exploitation de ces gigantesques entrepôts de données (datawarehouse).

Des données déjà nombreuses, mais pas forcément utilisables

Un rapport publié en 2016 rend compte d’un phénomène de fond : 85 % des données stockées en entreprise seraient soit totalement inconnues de l’organisation (52 % de « dark data »), soit redondantes, obsolètes ou triviales (33 %) ⁽³⁾.
Cela interroge sur la qualité et l’exploitabilité des données collectées d’une part. D’autre part, il faut mettre ce chiffre en perspective avec les limites algorithmiques de l’exploitation des jeux de données : une problématique courante chez les géants du web, dans les secteurs du Renseignement et de la Défense, ou dans la recherche scientifique lorsque l’on parle d’association de collections de données extrêmement volumineuses ⁽⁴⁾. Cette limite est un sujet primordial et est actuellement l’objet d’intenses recherches.

L’évolution vers un Internet des Objets intelligent dépend des avancées de la science des données

La taille de l’Univers Numérique croît, les appareils connectés génèrent en proportion toujours plus de données (et pas toujours utiles) que l’on n’arrivera bientôt plus à exploiter. Se dirige-t-on vers un scénario catastrophe ? J’ai tendance à croire que non : avec l’effet combiné de la recherche sur le sujet, de l’augmentation des puissances de calcul et de prises de conscience simples (« quantité ne signifie pas qualité »), il semble que l’on puisse faire des progrès significatifs. Dans cette partie, je vous propose un tour d’horizon des prochaines étapes clés menant vers des réseaux d’objets connectés plus intelligents.

© alexandre-gambuto.com, librement inspiré d’une intervention d’Alcatel-Lucent

– Phase I : enjeux déjà maîtrisés

Collecte de données : il s’agit de la transmission de l’information et de son stockage. La transmission se fait aujourd’hui à bas coût avec un large spectre de technologies et ne semble pas constituer un frein majeur pour l’IoT. Côté stockage, la formalisation des bases relationnelles dans les années 1970 pose les fondements du stockage structuré qui est encore utilisé de nos jours. À la fin des années 2000 le modèle relationnel est remis en cause pour certaines problématiques de performance et dans un souci de scalabilité. Apparaît le stockage non structuré avec des solutions dites NoSQL. Ce sont aujourd’hui les données non structurées qui représentent la majeure partie des volumes stockés, qu’elles transitent ou non par une base NoSQL.

Monitoring, reporting : il s’agit du traitement de la donnée. Pour du temps réel on parlera plutôt de monitoring (indicateur d’état dynamique) et pour une analyse consolidée sur un jeu « à froid » on parlera plutôt de reporting.
Exemple : sur un tableau de bord d’une voiture l’afficheur de vitesse peut être considéré comme du monitoring alors que l’analyse des rythmes de production du mois sur un TCD d’Excel est du reporting.

Contrôle à distance : il s’agit de l’envoi d’informations ou d’ordres vers des appareils connectés capables de les recevoir dans un premier temps, de l’interpréter et de réagir. Cela concerne les objets ayant un minimum d’intelligence embarquée (i.e non limités à un simple capteur unidirectionnel).
Exemple : piloter une cocotte-minute connectée à distance

– Phase II : les enjeux actuels

Modélisation : la modélisation de jeux de données est la capacité à trouver un motif élémentaire redondant et/ou un schéma mathématique qui décrit les tendances d’évolution du système.
Exemple : une fonction périodique, un modèle proie-prédateur

Knowledge-based system : il s’agit de la capacité à cataloguer un grand nombre de modélisations de données dans un contexte particulier, que l’on peut appliquer rapidement à un jeu du même contexte.

Prédictibilité : cette étape découle naturellement des précédentes. Elle désigne la capacité à identifier rapidement le modèle qui convient, à anticiper les évolutions futures et à quantifier l’incertitude.

Le contrôle intelligent : cela revient à optimiser un système de manière automatique et en temps réel, en associant la prédictibilité au contrôle à distance du parc d’objets.

La principale difficulté de la mise en place d’un contrôle intelligent provient de la taille des collections de données. L’essor du Smart (City, Grid, IoT) est majoritairement rapporté à un problème de Big Data.

– Phase III : futurs enjeux

L’enjeu ultime est d’intégrer une couche d’apprentissage profond à l’ensemble de la chaîne de valeur. Encore faut-il que les parcs d’objets sachent se parler : tant que chaque constructeur impose son protocole et son format, l’apprentissage reste cantonné à des îlots. C’est tout l’enjeu de l’interopérabilité — et c’est ce qui la rend décisive, car un système capable d’agréger les données de tous les parcs pourrait alors se modéliser lui-même et s’appliquer automatiquement un contrôle intelligent à des fins d’optimisation.

Si ce lointain rêve devient réalité dans les prochaines décennies, on pourra peut-être se rappeler les mots du célèbre physicien Stephen Hawking, à qui l’on doit des avancées théoriques significatives dans le domaine de la cosmologie :

« Réussir à créer une intelligence artificielle serait le plus grand événement dans l’histoire de l’homme. Mais ce pourrait aussi être le dernier. »

Ou encore :

« L’impact à court terme de l’intelligence artificielle dépend de qui la contrôle. Et, à long terme, de savoir si elle peut être tout simplement contrôlée. »

(Propos tenus lors d’un entretien à la BBC en décembre 2014 — « Success in creating AI would be the biggest event in human history. Unfortunately, it might also be the last. » — puis à l’inauguration du Leverhulme Centre for the Future of Intelligence, à Cambridge, en octobre 2016.)

Nous voilà prévenus !

1. PwC
2. EMC/IDC, 2014
3. Databerg 2016, Veritas Technologies
4. Le Big Data un enjeu économique et scientifique, CNRS