Hallucinations, absence de compréhension du sens, biais culturels, concentration des moyens entre quelques acteurs privés, impossibilité de remonter aux sources : cet article est un décryptage des limites et dangers actuels des IA génératives. Cet article a été réalisé en septembre 2023 dans le cadre des travaux de la commission « Savoir & Modernité » de l’AAIE-IHEDN.
Raja CHATILA est roboticien, professeur émérite d’intelligence artificielle et d’éthique des technologies à Sorbonne Université. Il est l’auteur de plus de 170 publications internationales sur ces sujets. Au regard de notre sujet de réflexion, il est en particulier coprésident du groupe de travail sur l’IA responsable au sein du Partenariat mondial sur l’IA (GPAI) et membre du Comité national français de pilotage pour l’éthique numérique (CNPEN). Il a été également membre du groupe d’experts de haut niveau en IA de la Commission européenne (HLEG-AI). En mars 2023, il figure parmi les signataires d’une pétition publiée par le think tank Future Of Life Institute, et intervient quelques jours plus tard sur France Inter pour alerter le grand public sur le besoin de vigilance et de régulation face à ces systèmes capables de produire du contenu faux difficilement détectable. La pétition du Future Of Life Institute demande de mettre temporairement en pause le développement des systèmes d’IA générative les plus avancés afin de prendre du recul sur la fiabilité de ces technologies, de mesurer les impacts sur la société, et de mettre en place des mesures de prévention du risque.
Propos recueillis par Alexandre Gambuto, cet entretien est extrait du rapport « Quelques réflexions sur le savoir et la modernité… », publié en février 2025 par la commission ad hoc de l’AAIE-IHEDN, animée par Dominique Lamoureux.
NDLR : depuis la réalisation de l’entretien, plusieurs des outils les plus avancés ont ajouté des capacités à faire référence aux sources, et le texte de l’IA Act a été publié au Journal officiel (JO) de l’Union européenne le 12 juillet 2024.
Raja Chatila, bonjour. Pouvez-vous nous expliquer pourquoi les IA génératives suscitent autant de commentaires cette année ?
L’intelligence artificielle est mon domaine depuis toujours et je constate aujourd’hui une évolution. Que se passe-t-il ? Depuis plusieurs mois, vous avez des systèmes d’IA générative très puissants, qui sont facilement disponibles pour le grand public. L’outil ChatGPT d’OpenAI fait partie de ces nouveaux systèmes. Historiquement et jusqu’à maintenant, les systèmes d’IA étaient plutôt utilisés pour interpréter des données, c’est-à-dire extraire des connaissances qui étaient enfouies. À titre d’exemple, la compréhension automatique des images est un cas tout à fait classique, pouvant être appliquée à la vidéosurveillance urbaine ou au contrôle automatisé sur une ligne de production industrielle. Ça, c’est le domaine de l’interprétation. Si l’on cherche à déterminer « est-ce qu’un évènement futur risque d’arriver en fonction d’évènements passés ? », nous sommes dans un domaine très classique de l’IA statistique, celui de la prédiction.
Aujourd’hui, l’IA générative est d’une autre nature. Elle ne se borne pas à interpréter des données, mais elle produit du contenu en grand volume. Quelle est l’idée ? Lors d’une requête (prompt), le système va produire des données qui sont statistiquement les plus probable au regard de la demande de l’utilisateur et de ce que l’IA a appris. Le contenu produit a toujours pour caractéristique de ressembler au corpus d’apprentissage, puisque l’IA est basée sur un modèle statistique obtenu en phase d’apprentissage, et ce qui se corrèle le mieux avec ce modèle sera sa réponse.
Le premier changement majeur introduit par les IA génératives de dernière génération, c’est que les domaines d’apprentissage sont devenus extrêmement vastes, cela représente tout le contenu que les concepteurs du système ont pu récolter sur Internet, ce qui donne un contexte très large pour interpréter les requêtes. Cette notion « d’extension du contexte » est centrale puisque cela rend possibles des réponses très larges sur à peu près n’importe quel sujet.
Le deuxième changement majeur avec des outils tels que ChatGPT, c’est que l’on dialogue en langage naturel et avec une qualité rédactionnelle de très bonne qualité du côté de la machine, ce qui est assez nouveau. Or la langue, c’est le véhicule de notre pensée et de notre logique humaine. C’est à travers elle que l’on échange des informations, des connaissances, des vérités entre humains et que l’on partage des significations communes du monde.
Quels sont les problèmes avec les IA génératives ?
Ils sont nombreux et je vais en évoquer cinq principaux…
PROBLÈME N° 1 : LA PRODUCTION DE FAUSSES INFORMATIONS
À cause du fonctionnement corrélatif du système, la réponse générée sous forme de texte va pouvoir mélanger sans distinction du contenu vrai et du contenu faux. Ce mélange est souvent indiscernable aux yeux du lecteur, car tout apparaît comme « plausible ». Le texte généré est souvent de très bonne facture, car il est bien rédigé et bien construit, ce qui renforce le crédit qu’on lui prête. Si le lecteur humain ne connaît pas la réalité, il est pour lui impossible de discerner le vrai et le faux. Cela représente un réel danger pour nos sociétés, car la vérité partagée est essentielle, c’est notre fondement commun. Sa remise en cause engendre forcément des conflits, et malheureusement, la généralisation de ces outils risque d’engendrer une diffusion de contre-vérités de plus en plus large. C’est une menace directe sur notre cohésion sociale, et la démocratie ! Si vous vous connectez à l’interface d’OpenAI vous pouvez d’ailleurs lire la mise en garde « ChatGPT may produce inaccurate information about people, places, or facts », mais cela n’arrête pas pour autant les gens de l’utiliser.
Je vais maintenant évoquer un exemple pour illustrer mon propos. J’ai demandé à ChatGPT d’écrire une notice biographique sur moi-même. Après lecture de sa réponse, j’estime que le texte comportait environ 50 % de vrai et 50 % de faux. L’erreur est qu’il me prêtait des fonctions erronées qui concernent des personnes que je côtoie, mais pas moi. Comment est-ce possible ? Parce que mon nom apparaît régulièrement aux côtés de ces personnes et que le système mélange mes attributs avec les leurs.
Ce type de confusion est rendu possible, car le système est basé sur l’analyse d’occurrence de mots dans des espaces à très grandes dimensions. Pour le dire autrement, ChatGPT constate la probabilité que certains mots se retrouvent à proximité d’autres groupes de mots (c’est en réalité au niveau des composants constitutifs du codage des mots que sont les « tokens »). C’est en suivant ces observations statistiques que le système génère des phrases entières : « je prédis que le prochain mot le plus probable est celui-ci, et je l’écris ». Par exemple, si j’étais ami avec Einstein et que beaucoup de textes font mention de son prix Nobel à proximité de mon nom, le système peut me coller l’étiquette « prix Nobel ». Si l’on signale manuellement ces erreurs au système, lorsque les utilisateurs les détectent, il peut se rétracter… Ainsi ces systèmes peuvent inventer des faits qui n’ont aucune réalité en effectuant des corrélations fallacieuses, ce qui est appelé « hallucinations » par certains chercheurs.
PROBLÈME N° 2 : LA PROJECTION DE SÉMANTIQUE
Le second problème est lié au premier, toutefois il concerne le fonctionnement même du système, et non la qualité de sa production. Comme évoqué plus haut, le système utilise des chaînes de caractères (token) qui vont être corrélées statistiquement. Le système va ainsi produire du texte en se basant sur ces observations statistiques, il n’utilise à aucun moment le sens, la signification, des mots qu’il ne peut même pas appréhender. C’est très différent de la manière d’écrire d’un humain, car nous produisons du sens lorsque l’on écrit et exprimons des concepts dont nous comprenons la signification profonde. Tout ce que ce que ChatGPT sait, c’est que tel mot est associé statistiquement à un contexte. Il ne comprend pas le sens de ce qu’il produit !
PROBLÈME N° 3 : LES BIAIS LIÉS À LA BASE D’ENTRAÎNEMENT
Rappelons que ces systèmes d’IA générative sont entraînés sur de très grandes bases de données de texte, en plusieurs langues, issues des informations disponibles sur Internet. L’anglais est prépondérant dans ces bases d’entraînement. Pourquoi est-ce un problème ? Lorsque l’on pose une requête dans une langue peu représentée, la réponse va éventuellement passer par la langue pivot qui est l’anglais, et la réponse va être empreinte de la culture de la langue dominante utilisée pour produire la réponse avant sa traduction dans la langue de la requête. Ce problème sera d’autant plus marqué que la langue d’interaction sera minoritaire. Les réponses vont être marquées par le modèle de pensée de la culture anglo-saxonne, dont la culture de l’utilisateur peut être assez éloignée, et ainsi influencer cette culture.
PROBLÈME N° 4 : LES RESSOURCES NÉCESSAIRES POUR DÉVELOPPER CES TECHNOLOGIES
Nous sommes dans une situation un peu particulière. Historiquement, les nouvelles idées et les nouveaux systèmes naissent souvent dans le creuset de la recherche académique. Mais en intelligence artificielle telle qu’elle est aujourd’hui (statistique, générative), les moyens nécessaires pour développer ces technologies sont excessivement importants et dépassent ceux qui sont disponibles dans le monde académique. Ces technologies se développent ainsi dans le monde industriel, et encore, seulement dans les laboratoires de certains industriels qui ont les chercheurs, et ressources nécessaires en calcul et en données pour être à la pointe de l’innovation. On les retrouve surtout dans la Silicon Valley ou en Chine. Ce n’est donc pas la recherche scientifique (avec d’abord la motivation de faire avancer les concepts et les connaissances et éventuellement de diffuser une solution novatrice) qui stimule le développement de ces technologies, ce sont certains industriels privés. Il faut peut-être s’interroger sur comment donner plus de moyens à la recherche académique pour qu’elle puisse occuper une place plus importante dans le développement de ces technologies.
Un autre sujet que je ne ferai que mentionner ici est l’impact environnemental de ces technologies en général (émissions CO2, consommation de ressources) qui nécessite un cadrage particulier.
PROBLÈME N° 5 : LA CITATION DES SOURCES
Les systèmes actuels d’IA générative sont alimentés par des corpus multiples présents sur internets, mais sont incapables, par construction, de mentionner les sources utilisées pour construire leurs réponses.
On a donc au final un agent conversationnel qui ne sait pas de quoi il parle, qui peut commettre d’importantes erreurs, qui semble cependant plausible, et dont on ne peut pas vérifier les sources…
Est-ce que le problème de la production de fausse information ne va pas se résoudre naturellement avec l’amélioration des systèmes ? Si c’est le cas : combien de temps faudra-t-il ?
Le problème initial c’est simplement la corrélation de choses différentes qui va produire du vrai et du faux mélangé. Ce n’est pas parce qu’il y a du faux au départ que ça produit du faux, c’est parce que le système fait des associations erronées. Et ce modèle de production de faux ne va pas se résoudre, car c’est inhérent à la nature corrélative du système. Il faudrait donc soit changer complètement de paradigme, soit ajouter des filtres pour vérifier la validité des sorties après coup, ce qui serait une révision majeure.
Le second problème c’est la qualité de la base d’entraînement. Plus elle contient des inexactitudes, plus les réponses seront potentiellement fausses. Or, on peut estimer qu’une partie de la production de ces systèmes va se retrouver sur Internet avec leurs erreurs. Les systèmes comme ChatGPT vont continuer à apprendre sur ce corpus numérique qui contiendra ce « faux supplémentaire » de leur propre fait. En définitive, le problème du faux va potentiellement être démultiplié, car ces systèmes vont avoir leur apprentissage utiliser des choses fausses qu’ils auront eux-même produites…
À ce sujet, il faut rappeler que le système d’OpenAI n’apprend pas en continu. L’entraînement du modèle actuel [NDLR : à date de l’entretien] a été arrêté en septembre 2021, donc le système ne connaît rien de postérieur. C’est lorsqu’ils vont mettre à jour le modèle que ce « faux supplémentaire » va entrer dans son apprentissage et va multiplier le risque d’associations fausses.
En dehors des retours des utilisateurs, OpenAI corrige aussi les choses, mais après coup. C’est un processus de « renforcement supervisé par l’humain ». En d’autres termes, ce sont des employés qui affinent, entraînent et corrigent. Certaines de ces personnes sont payées moins de 2 dollars de l’heure et sont basées au Kenya…
La seule manière d’avoir un niveau de réponse satisfaisant reposerait sur une démarche différente, ce que l’on ne sait pas faire aujourd’hui. Il faudrait pour cela sélectionner les sources les plus fiables, avoir des systèmes causaux (id est qui établissent des implications logiques entre des corpus et les réponses du système) et pas uniquement basés sur la corrélation (id est une analyse statistique des corpus), distinguer et valider les sources qui contribuent à l’apprentissage, le tout plus ou moins filtré par des êtres humains.
Malgré les efforts déployés par OpenAI et d’autres concepteurs de ces systèmes, ils sont encore largement imparfaits, et je pense qu’il n’y a pas d’issue pour résoudre les problèmes évoqués avec la technologie actuelle…
Pourquoi avoir signé la pétition du Future Of Life Institute ?
Pour toutes ces raisons que je viens de mentionner. Je ne suis pas forcément d’accord sur toutes les prises de position de ce think tank, ni sur tous les paragraphes de cette pétition, en particulier celui qui précise que l’IA pose un risque existentiel à l’humanité. Je ne le crois pas. En revanche : quand on m’a proposé de signer, j’ai été très intéressé par la proposition demandant l’arrêt du développement de technologies plus puissantes que GPT4 (le plus avancé à l’époque) pendant 6 mois, afin de mettre en place des mécanismes de protection, un moratoire donc, et que les États se mettent en avant pour légiférer s’il n’est pas respecté. Je suis d’accord sur la nécessité de ne pas se ruer dans une course effrénée dans laquelle chaque organisation développe un système encore plus puissant.
J’ai signé ce texte publié le 31 mars 2023 dans un contexte particulier. L’opinion publique et les médias se posaient peu la question des problèmes, on était plutôt dans une séquence d’émerveillement. Il fallait lever un carton rouge pour interpeller les médias, les politiques, le grand public et les rendre conscients de ces problèmes. C’est ça qui m’a motivé et je pense que j’ai eu raison. On parle beaucoup plus de ces sujets dorénavant.
Pourquoi les systèmes deviennent-ils populaires et performants seulement aujourd’hui ?
Le domaine traditionnel de l’IA est l’approche symbolique, celle qui avait le vent en poupe avant l’approche statistique. Cette dernière était peu performante et ne l’est que depuis les années 2010, permettant d’atteindre les résultats que nous connaissons maintenant.
L’idéal serait de remarier ces deux approches pour pallier un certain nombre de problèmes évoqués. Ce défi est extrêmement difficile, peut-être même pas faisable.
Selon vous, quel va être l’impact de la multiplication de ces assistants pour les professionnels ?
Ce genre de question est très difficile. Il y a tellement de données de contexte touchant aux volets économiques, géopolitiques et technologiques que l’on se trompe souvent. Il est clair que ces outils sont utiles, mais pour des spécialistes qui peuvent en apprécier la qualité. L’autre problème, c’est que ces outils ne produisent en fait pas grand-chose ! Les réponses de ChatGPT sont généralement plates et compter sur lui pour apporter une véritable connaissance, je n’y crois pas vraiment.
Est-ce utile pour la synthèse de textes dans certains métiers qui en manipulent beaucoup ? Par exemple pour les journalistes ou les professionnels du droit ?
L’histoire de cet avocat américain qui a suivi la synthèse juridique de ChatGPT, qui contenait de nombreuses erreurs, pour construire sa plaidoirie parle d’elle-même. Parfois la vérification coûte plus d’effort que la production. Si un journaliste veut utiliser ChatGPT pour se documenter et générer un résumé d’un match de football, pourquoi pas. Mais sur une analyse politique ou un sujet de fond, je serais méfiant.
Et pour des étudiants ?
Surtout pas ! Etudier ce n’est pas recracher des textes. Il faut rapprocher, réfléchir, mémoriser, comprendre et ce mécanisme d’apprentissage est un cheminement. En tant qu’enseignant, je ne suis pas d’accord que mes élèves suivent cette voie. S’ils font cela, ils n’apprendront rien et souffriront des lacunes engendrées par l’utilisation de ces outils. Encore une fois, une utilisation par un spécialiste ou une personne avertie sur un sujet, pourquoi pas, mais pour une utilisation plus naïve, cela demande beaucoup de précautions.
Est-ce que la clé n’est pas dans l’éducation des utilisateurs ? Leur apprendre que ces technologies sont encore très faillibles et qu’elles ne remplacent pas un travail de bibliographie et d’étude. Mais qu’elles peuvent gagner du temps pour rechercher des ressources et synthétiser de l’information en première lecture ?
L’éducation est fondamentale pour utiliser ces outils avec discernement. Il faut apprendre aux gens quel est l’intérêt de ces outils, quelles sont leurs limites, comment cela fonctionne.
Mais l’éducation, aussi fondamentale qu’elle soit, ne fait pas tout. Si je vous donne un outil extrêmement puissant, mais que je vous mets en garde contre la plupart des utilisations. Que faites-vous ? Vous allez tout de même l’utiliser. On sait qu’il ne faut pas rouler trop vite, pourtant certains le font quand même. L’éducation ne protège pas de tout, mais contribue à diminuer le risque.
Il a fallu une quinzaine d’années pour protéger les données privées contenues dans les systèmes d’information (RGPD, 2016) et environ le même temps pour réglementer les réseaux sociaux (Digital Services Act, 2023). Sommes-nous partis pour réglementer plus vite l’IA générative et en particulier les agents conversationnels ?
Plus vite, je ne le dirais pas. Mais les choses ont commencé à bouger depuis un moment. Depuis 2020, l’Union Européenne ainsi que tous les États ont sorti leur plan pour encadrer l’IA.
En 2018, un groupe d’experts de haut niveau a été constitué, j’en faisais partie, pour réfléchir à un plan IA pour l’Union Européenne. Notre travail a débouché sur la production de deux documents : (1) des propositions d’orientations au regard du cadre éthique et (2) des recommandations pour l’investissement et la politique à mener.
La Commission s’est ensuite saisie de ce travail. Cela a abouti à la parution d’un livre blanc en 2020 et à la proposition d’une première version du règlement aux États et au Parlement, le 19 avril 2021. Fin 2022, le Conseil Européen l’avait amendée, et le Parlement a produit ses propres amendements le 14 juin 2023. Aujourd’hui, trois versions différentes coexistent donc et vont aboutir à une négociation tripartite (les trilogues) entre la Commission, le Conseil et le Parlement. On peut espérer que ces négociations aboutissent à un texte définitif d’ici fin 2023. Vous avez ensuite généralement deux ans de délai entre la publication définitive et la mise en application. Nous pouvons donc espérer qu’en 2025 ou début 2026 nous aurons un texte applicable, sachant que tous les industriels vont probablement se préparer à être conformes à la réglementation en amont.
Est-ce que ce texte répond aux problématiques de l’IA en général, et celles évoquées plus haut en ce qui concerne l’IA générative ?
Plus ou moins selon mon point de vue. La question de la responsabilité des acteurs comme OpenAI qui produisent des modèles dits « de fondation » à partir desquels on peut construire des systèmes à usage général n’était initialement pas abordée dans le texte présenté en 2021. ChatGPT est arrivé après la publication du texte par la Commission. Dans la réflexion initiale, c’était l’usage prévu de l’IA qui définissait la notion de risque qui déterminait les exigences légales. Or, ChatGPT est un système non spécifique, car son usage est très général. Des modifications ont donc été introduites par le Conseil pour en tenir compte et par le Parlement qui a rajouté une surcouche pour légiférer plus fortement sur ce type de systèmes et les modèles de fondation. La classe des « IA génératives » a ainsi été étayée. Si la Commission avait initialement estimé que les agents conversationnels présentaient un niveau de risque moyen, avec une obligation de transparence comprenant la nécessité de savoir que le système est une IA et pas un humain, le texte en discussion est plus exigeant maintenant, avec l’identification de niveaux de risque plus élevés.
Mais le texte final du règlement n’est pas encore connu et les négociations tripartites se poursuivent.
En tant que scientifique spécialisé du domaine, quel message voudriez-vous faire passer aux décideurs qui liront cet article ?
Je pense qu’il faut utiliser des outils avec une fiabilité garantie, reconnue, vérifiée, voire certifiée. Or, gardez bien en tête que ChatGPT ne fait pas encore partie de ces outils-là. Il faut aussi vérifier dans quelle mesure cet outil est utile et fait progresser l’intérêt de l’entreprise et des organisations. Il ne faut pas s’arrêter à de vagues promesses qui peuvent s’avérer fallacieuses ! Laisser la machine aller chercher la plus grande partie de l’information, je dis oui, à condition qu’on laisse l’humain en faire la synthèse et l’interprétation derrière. Je ne pense pas que beaucoup de métiers vont être remplacés par ces outils, car la compétence humaine pour comprendre et faire sens reste pour moi essentielle. Je pense qu’ils représentent un complément d’efficacité. Si ces outils doivent être utilisés en entreprise, j’incite à mettre en place des gouvernances appropriées dont le rôle est d’être garant de l’utilisation de ces systèmes, de la même manière, par exemple, que les délégués à la protection des données le sont vis-à-vis de la RGPD.
Raja Chatila, merci pour votre temps.
