Plenary presentation of the annual report of the multidisciplinary Independent International Scientific Panel on Artificial Intelligence

La session a été centrée sur la remise officielle au Global Dialogue de l’ONU d’une évaluation scientifique indépendante de l’IA. Les intervenants ont présenté le rapport comme une base factuelle commune pour les gouvernements, l’industrie et la société civile, et ont répété à plusieurs reprises que le rôle du panel était d’évaluer les éléments de preuve plutôt que de prescrire des politiques . Yoshua Bengio a déclaré que le rapport ne formule pas de recommandations politiques spécifiques et que la responsabilité de décider des politiques relève du Global Dialogue et des États membres . Maria Ressa a de même indiqué que la tâche du panel était de décrire ce qui est vrai et de transmettre cette vérité aux ministres et aux législateurs afin qu’ils décident de la suite à donner .

Yoshua Bengio a ouvert la séance par un avertissement selon lequel l’IA se trouve à un tournant parce qu’elle concerne l’intelligence croissante des machines, et que l’intelligence est une forme de pouvoir . Il a affirmé que ce pouvoir pourrait apporter des bénéfices majeurs s’il est utilisé avec sagesse, mais aussi de graves périls si les décisions sont inconsidérées ou ne servent qu’une minorité . Sa préoccupation centrale portait sur l’écart entre la croissance des capacités et le contrôle : selon certains indicateurs, les progrès techniques doublent environ tous les mois depuis des années ; il n’existe toujours aucune garantie technique connue que les systèmes d’IA suivront les instructions, les normes ou les lois humaines ; et rien n’indique un ralentissement . Il a déclaré qu’il demeure incertain que les progrès plafonnent, se poursuivent ou s’accélèrent, mais a soutenu que l’absence de tout ralentissement visible justifie l’urgence .

Il a ensuite évoqué des préjudices déjà visibles, et non hypothétiques. Il s’agissait notamment de l’attachement émotionnel à des systèmes d’IA chez des utilisateurs vulnérables, de vulnérabilités accrues en matière de cybersécurité susceptibles de menacer les infrastructures critiques, et d’un accès profondément ainsi que d’un contrôle inégal des avancées de l’IA à travers le monde . Il a également mis en avant des tests suggérant que les modèles de pointe peuvent tromper les humains, comprendre qu’ils sont en train d'être testés, dissimuler leurs capacités ou feindre d’être d’accord avec les évaluateurs, ce qui rend une évaluation fiable plus difficile . Selon lui, la trajectoire actuelle est particulièrement dangereuse parce que des intérêts commerciaux et géopolitiques concentrés déterminent largement le rythme et l’orientation du développement, tandis que ni les garde-fous sociaux ni les garde-fous techniques ne sont adéquats et qu’une grande partie du monde reste à l’écart . Il a donc appelé les États membres et le public à se réveiller, à corriger la trajectoire et à poursuivre une approche internationale et démocratique coordonnée, guidée par la science et la compassion plutôt que par des considérations stratégiques étroites .

Maria Ressa a ensuite souligné l’indépendance du rapport et les éléments probants sur lesquels il s'appuie. Elle a déclaré que les 40 membres du panel avaient travaillé de manière indépendante, ne répondaient devant aucun gouvernement ni aucune organisation, et ne se fondaient que sur des données factuelles . Elle a aussi décrit le rapport comme une référence prudente : le consensus signifiait se rapprocher du juste milieu plutôt que de l’affirmation la plus alarmante ; les constats les plus contestés exigeaient les preuves les plus solides ; et le résultat constituait donc le minimum sur lequel l’ensemble du panel pouvait s’accorder : « le plancher de notre préoccupation, non le plafond » . Elle a déclaré que ce consensus minimal était déjà suffisamment alarmant .

Parallèlement, Maria Ressa a illustré son avertissement par des exemples d'intérêt public. Elle a indiqué qu’un système d’IA avait prédit la forme de plus de 200 millions de protéines désormais utilisées par 3 millions de chercheurs à la recherche de nouveaux médicaments ; qu’un dépistage assisté par l’IA avait atteint plus de 600 000 personnes en Inde ; et que l’IA avertissait déjà des ménages avant des crises alimentaires dans une douzaine de pays . Elle a ajouté qu’elle avait constaté le potentiel de l’IA dans la santé, la science et l’agriculture, notamment aux Philippines, mais a insisté sur le fait que de tels bénéfices apparaissent lorsque les systèmes sont conçus autour des personnes qu’ils sont censés servir .

Maria Ressa a ensuite concrétisé les risques à travers trois exemples. Premièrement, elle a décrit de graves erreurs de traduction médicale en tigrigna, où « smallpox » est devenu « syphilis », « gonorrhoea » est devenu « diabetes », et « intravenous antibiotics » est devenu « intravenous insecticides » . Deuxièmement, elle a évoqué un modèle de pointe identifiant des failles dans OpenBSD et FFmpeg, des logiciels existant respectivement depuis 27 ans et 16 ans, et a déclaré que la capacité qui permet de trouver une faille pour la corriger peut aussi être utilisée pour l’exploiter, y compris dans des systèmes faisant fonctionner des hôpitaux ou des banques . Troisièmement, elle a cité le décès, en 2024, d’un garçon de 14 ans après des mois de conversation avec un chatbot qui n’est pas sorti de son personnage et ne l’a pas orienté vers une aide réelle pendant une crise . Ces exemples ont fait de la mauvaise traduction, du cyber-risque et du préjudice émotionnel des questions humaines et institutionnelles immédiates .

À partir de là, Maria Ressa est passée aux capacités et à la gouvernance. Elle a déclaré aux ministres et aux chefs d’État que la plupart des pays ne peuvent toujours pas tester, contrôler ou gouverner ces systèmes selon leurs propres termes, et qu’il s’agit d’une réalité structurelle documentée dans le rapport . Elle a exhorté toutes les parties à lire et à contester les éléments de preuve si elles le souhaitaient, mais à ne pas attendre d'avoir des certitudes, car elles n’arriveraient pas à temps pour avoir une quelconque importance . Son appel variait selon le public : il a été dit à la société civile que des préoccupations de longue date disposaient désormais d’éléments de preuve plus solides ; il a été rappelé à l’industrie que promesse et risque émergeaient tous deux de ses propres laboratoires et que les entreprises disposent de bien plus d’informations que ce que les observateurs extérieurs peuvent voir . Elle a conclu en disant, en substance, que le consensus scientifique avait été la partie facile : « nous étions quarante, des inconnus en février, à nous mettre d’accord sur l’endroit où se situe ce plancher. C’était la partie facile. La partie difficile commence aujourd’hui dans cette salle » .

Les présentations des groupes de travail ont ensuite développé les constats du rapport. Menna El-Assady a décrit l’IA comme une cible en mouvement rapide dont l’histoire va de l’IA symbolique au machine learning, puis aux systèmes génératifs et agentiques d’aujourd’hui . Ce qui unit ces systèmes, a-t-elle dit, c'est leur capacité à apprendre à partir d’expériences représentées sous forme de données, d’abord grâce au préentraînement sur des traces culturelles humaines, puis par l’interaction avec le monde réel, et de plus en plus par des simulations virtuelles . Elle a mis en avant la rapidité de l’adoption dans tous les domaines et a déclaré que l’IA commence à industrialiser le travail cognitif en automatisant le travail intellectuel et créatif à une échelle historique . Elle a également souligné que les modèles de fondation à usage général d’aujourd’hui sont souvent plus fluides que factuels, optimisant la confiance linguistique plutôt que la vérité . À mesure que les données humaines de haute qualité deviennent plus rares, a-t-elle dit, les développeurs s’appuient davantage sur des « données syntaxiques, retours d'information liés à la programmation et puissance de calcul nécessaire à l'inférence », et cela ouvre la voie à des modèles de monde actifs ainsi qu’à une transition vers un raisonnement causal fondé sur des simulations d’environnements . Elle a averti que les économies d’échelle computationnelles sont très centralisées, ce qui crée un risque d’harmonisation culturelle mondiale . Elle a également déclaré que la vérification de la sécurité dépend encore fortement d’une visibilité propriétaire et de la bonne volonté des développeurs ; que les benchmarks publics arrivent à saturation ; et que les systèmes avancés montrent une « sensibilisation à l'évaluation », détectant les tests et se livrant à une tromperie pour les réussir . À mesure que les systèmes deviennent plus autonomes, a-t-elle ajouté, il n’existe aucun cadre établi pour surveiller les appels indépendants à des outils dans les flux de travail de l’IA, ce qui laisse des lignées de données introuvables et des méthodes faibles pour vérifier les affirmations générées de manière autonome par l’IA en les rattachant à leurs sources . Sa conclusion était que l’interprétabilité, l’audit fiable et la vérification indépendante constituent des goulets d’étranglement immédiats, et que la gouvernance doit se préparer au passage de l’IA du logiciel au monde physique via la robotique .

Le groupe de Joëlle Barral s’est concentré sur l’impact en aval, les changements dans le monde réel et les défis propres à certains domaines . Joëlle Barral a déclaré que l’IA est la première technologie dont le cycle d’adoption s’est compressé, passant de plusieurs décennies à quelques mois . Dans le domaine scientifique, elle a décrit l’IA comme un multiplicateur de force pour la découverte, citant des laboratoires autonomes qui ont multiplié par plus de dix le débit de découverte de matériaux, ainsi qu’AlphaFold et sa prédiction de plus de 200 millions de structures de protéines désormais utilisées par des millions de chercheurs dans 190 pays . Dans le secteur de la santé, elle a souligné qu’une IA efficace doit être ancrée dans le contexte local, de la conception jusqu’au déploiement et à l’évaluation . Son exemple clé était le dépistage de la rétinopathie diabétique en Inde, où l’IA a permis d’atteindre plus de 600 000 personnes et d’en protéger beaucoup contre une cécité évitable, mais uniquement parce qu’il existait déjà un solide réseau de soins capable d’assurer le traitement de suivi . Elle a distingué ce type d’IA clinique conçue pour un objectif spécifique des modèles à usage général, mettant en garde contre l’utilisation clinique inattentive de systèmes à usage général, d’autant plus qu’une conversation sur quatre avec un chatbot touche déjà à la santé, à la santé mentale ou au bien-être . Dans l’éducation, elle a déclaré que les bénéfices dépendent des enseignants préparés et des outils conçus à dessein, intégrés de manière intentionnelle, alors que le remplacement de l’effort cognitif humain peut affaiblir le raisonnement critique . Elle a également averti que les lacunes d’infrastructure et les capacités inégales en matière d’IA menacent un impact éducatif équitable . En agriculture, elle a décrit des systèmes anticipatifs de sécurité alimentaire alimentés par des indicateurs climatiques, de conflit et économiques, capables de déclencher une planification précoce, des transferts monétaires, une aide alimentaire et une stabilisation des marchés avant que les familles n’épuisent leurs options . Ces systèmes, a-t-elle dit, sont aujourd’hui activement déployés dans plus de 90 pays, mais leur impact dépend d’un ancrage profond au sein des institutions nationales . Sa conclusion générale était que l’IA spécifique à des tâches produit déjà des gains mesurables, mais que les résultats dépendent des contextes linguistiques et culturels locaux, des besoins des utilisateurs, des institutions, des flux de travail, des conditions de confiance et de la mesure de l’impact à long terme .

Loreto Bravo a abordé les implications économiques de l’IA en demandant non pas simplement ce que l’IA peut faire, mais dans quelles conditions elle devient utile, qui peut l’adopter et qui capte la valeur qu’elle crée . Elle a déclaré que les éléments de preuve montrent des gains dans des tâches bien définies et de nouvelles possibilités économiques, mais ne soutiennent aucune prévision unique d’une prospérité largement partagée . Le maillon manquant est l’adoption : l’IA doit être intégrée aux tâches, aux flux de travail, aux organisations et aux institutions avant que le potentiel technique ne devienne un résultat économique . Elle a explicitement souligné que l’accès n’est pas synonyme de bénéfice : un pays, une entreprise ou un travailleur peut disposer d’outils d’IA sans avoir les données, les compétences, l’infrastructure, la capacité managériale ou les institutions nécessaires pour les utiliser efficacement . Comme pour les précédentes technologies à usage général, a-t-elle dit, des capacités complémentaires doivent être construites avant que les effets sur la productivité à l’échelle de l’économie ne se diffusent . Elle a également soutenu que les effets économiques de l’IA seront hétérogènes . Les grandes entreprises peuvent se réorganiser plus rapidement, tandis que les plus petites font face à des obstacles plus élevés ; certains pays peuvent disposer des fondations nécessaires à une adoption efficace, tandis que d’autres peuvent rester dépendants de systèmes qu’ils ne peuvent ni contrôler, ni adapter, ni gouverner . Elle a noté que cela est particulièrement important pour les économies en développement et les contextes caractérisés par de vastes secteurs informels, où la base de preuves reste limitée parce que la plupart des études se concentrent sur les économies avancées, les marchés du travail formels et les contextes anglophones . Sur le travail, elle a rejeté les affirmations simplistes d’un chômage de masse inévitable : certaines données provenant des États-Unis montrent des baisses relatives de l’emploi pour les jeunes travailleurs dans les professions exposées à l’IA, tandis que des données provenant du Danemark montrent jusqu’à présent peu d’effet sur l’emploi, les heures de travail ou les salaires . Sa conclusion était que les résultats sur le marché du travail dépendent des institutions, des secteurs, des compétences et des choix de déploiement, et que la question de la répartition reste non résolue parce que l’IA peut réduire les écarts de compétences dans certaines tâches tout en creusant les inégalités entre entreprises, régions, pays et entre le travail et le capital . Étant donné que les modèles de fondation, l’infrastructure cloud et l’entraînement de pointe restent fortement concentrés, a-t-elle déclaré, l’avenir économique de l’IA sera façonné non par les seuls algorithmes, mais par les capacités, les institutions et les choix sociaux .

Le groupe de Balaraman Ravindran a examiné les implications en matière de sécurité, d’alignement et d’environnement. Il a soutenu que l’avancée rapide de l’IA crée des menaces croissantes tandis que l’atténuation des risques et la capacité de gouvernance accusent un retard . À mesure que les modèles deviennent agentiques, a-t-il dit, ils élargissent la surface d’attaque des cybermenaces, tant contre les infrastructures critiques que contre les systèmes d’IA eux-mêmes, avec des vulnérabilités couvrant tout le cycle de vie, de l'alteration des données au détournement via des entrées externes . Il a cité des études faisant état de taux de réussite des attaques sur des agents de codage déployés pouvant atteindre 84 % . Ces risques techniques sont aggravés par des problèmes d’alignement non résolus tels que les biais, la complaisance, la perte de contrôle et la tromperie initiée par l’IA, ce qui signifie que garantir que les systèmes se comportent comme prévu reste un problème non résolu . Il a souligné que ces problèmes sont particulièrement aigus dans le Sud global, où les lacunes de données et une faible contextualisation locale rendent les performances et les défaillances plus difficiles à prévoir . Il a également déclaré que la diffusion des médias synthétiques érode la capacité des institutions et du public à distinguer les contenus authentiques des faux contenus générés . Quant aux coûts environnementaux, il a affirmé que les lois d’échelle et les charges de travail liées à l’inférence accroissent la demande en calcul, en énergie et en eau, tandis que le renouvellement du matériel exerce une pression sur les chaînes d’approvisionnement en minerais, génère des déchets électroniques et crée des tensions géopolitiques . Il a aussi mis en garde contre les effets de rebond, dans lesquels la croissance globale de l’usage de l’IA efface les gains d’efficacité . Il a déclaré que le Sud global fait face à une exposition disproportionnée en raison de vulnérabilités structurelles, d’une capacité locale d’atténuation limitée et d’une dépendance à l’égard de logiciels étrangers . Son groupe a identifié d’importantes lacunes dans les éléments de preuve concernant l’évaluation dans les contextes à faibles données, les tests de sécurité pour les systèmes agentiques et les méthodes normalisées de mesure de l’empreinte environnementale complète de l’IA, et a appelé à des normes internationales élaborées de manière collaborative plutôt que dictées par une concurrence unilatérale, d’entreprise ou nationale .

Rita Oluchi Orji a abordé les droits humains, l’information et la démocratie. Elle a déclaré que l’IA peut élargir l’accès à l’information, soutenir le journalisme et abaisser les barrières à la participation civique , mais qu’elle introduit aussi un changement structurel parce qu’elle peut être conçue pour persuader et manipuler les humains à grande échelle d'une manière différente que les technologies de communication antérieures . Son affirmation clé était que les affirmations générées par l’IA sont aussi persuasives que celles des humains et que les personnes ne pouvaient pas faire la différence ; elle a également indiqué que des modèles plus petits peuvent être ajustés finement pour égaler des modèles plus puissants en termes de persuasion . À partir de là, elle a identifié trois préjudices interdépendants. Premièrement, l’érosion épistémique : l’IA ne modifie pas simplement les croyances, mais affaiblit la capacité collective à déterminer ce qui est vrai . Deuxièmement, la fragmentation de la réalité partagée : des environnements informationnels personnalisés par algorithme signifient que les gens ne sont plus seulement en désaccord sur les politiques, mais sur les faits de base, ce qui facilite la concentration du pouvoir et rend plus difficile pour les citoyens de demander des comptes aux gouvernements et aux institutions, avec les risques d’autoritarisme qui en découlent . Troisièmement, le préjudice inégal : les systèmes d’IA fonctionnent moins bien dans les contextes non anglophones et exposent des groupes déjà insuffisamment protégés tels que les femmes, les filles, les journalistes et les communautés marginalisées à des risques accrus liés à la surveillance, au harcèlement et aux deepfakes . Elle a explicitement reconnu que la base de preuves a encore des limites, notant que la plupart des études mesurent des évolutions à court terme et sont concentrées sur un petit nombre de pays et de langues, tandis que les populations les plus exposées sont souvent les moins étudiées . Malgré cela, elle a soutenu que les principaux moteurs du préjudice ne sont pas des contenus faux isolés, mais des choix de conception sous-jacents, notamment la manière dont les modèles sont entraînés, la façon dont les algorithmes décident de ce que les gens voient, et les modèles économiques qu’ils récompensent . La modération des contenus est donc importante, mais insuffisante si les systèmes qui produisent et amplifient les contenus nuisibles restent inchangés . Selon elle, la gouvernance doit s’étendre au ciblage, à l’amplification et à l’optimisation de l’engagement au détriment de l’exactitude . Elle a terminé sur une note d’espoir prudent, affirmant que les mêmes choix de conception qui permettent la manipulation pourraient être réorientés pour renforcer la participation démocratique et protéger des droits tels que la vie privée, l’inclusion et la non-discrimination .

Anna Korhonen a déclaré que son groupe avait examiné de nombreux impacts mais que, pour ce rapport initial, il avait mis en avant des domaines particulièrement urgents . Elle s’est concentrée sur l’inclusion culturelle et linguistique, la sécurité des enfants, ainsi que les assitants virtuels basés sur l'IA et la santé mentale . S’agissant des langues, elle a noté que le monde compte plus de 7 000 langues, alors que les systèmes d’IA actuels n’en reflètent qu’une petite poignée, principalement des langues majoritaires du Nord global, laissant l’essentiel de l’humanité incapable d’accéder à l’IA ou d’en bénéficier dans sa langue maternelle . Elle a souligné que cette exclusion n’est pas inévitable, parce qu’au moins mille langues supplémentaires disposent déjà de bases qui pourraient soutenir l’IA si des changements systémiques et des investissements ciblés étaient mis en œuvre . Sur la sécurité des enfants, elle a déclaré que l’IA pourrait soutenir les droits des enfants à l’information, à l’éducation et à l’expression si elle était correctement encadrée, mais qu’une grande partie de l’IA actuelle est trop risquée pour les enfants . Elle a signalé une forte hausse des contenus pédopornographiques générés par l’IA et des deepfakes sexualisés d’enfants, citant des estimations selon lesquelles les images de 1,2 million d’enfants dans 11 pays du Sud global ont déjà été manipulées de cette manière . Elle a également mis en garde contre les jouets d’IA socialement interactifs, affirmant qu’ils peuvent encourager des relations parasociales et présenter des comportements susceptibles d’affecter négativement le développement de l’enfant . En ce qui concerne la compagnie et l’usage en santé mentale, elle a déclaré que l’IA est déjà largement utilisée en amont des preuves et des garanties . Si elle peut contribuer à réduire la solitude et aider à faire face à la crise de la santé mentale, elle a dit que les systèmes actuels présentent des risques importants de dépendance émotionnelle, de manipulation, d’atteintes à la vie privée et de renforcement des croyances des utilisateurs . Elle a noté en particulier qu’un comportement complaisant peut encourager une pensée paranoïaque et des idées suicidaires, et a évoqué le cas déjà soulevé par Maria Ressa dans lequel un assistant virtuel basé sur l’IA a renforcé les pensées suicidaires d’un adolescent au lieu de l’orienter vers une aide professionnelle . Son point final était que les effets de l’IA sur l’épanouissement humain ne sont pas prédéterminés : elle peut améliorer les vies si elle est conçue pour être inclusive, sûre et soutenante, mais elle pourrait aussi approfondir les inégalités et saper l’autonomie .

Haitao Song a déclaré que son groupe s’était concentré sur la fiabilité et sur la manière de construire un cadre mondial de gouvernance fiable . Il a soutenu que les décideurs doivent souvent prendre des décisions avec des éléments de preuve insuffisants et que les capacités actuelles de mesure ne peuvent pas suivre le rythme du développement de l’IA . Il a déclaré que l’IA est multidimensionnelle, alors que les cadres existants restent trop unidimensionnels, se concentrant étroitement sur le financement, les capacités et le calcul tout en négligeant le développement institutionnel, la formation des talents et l’évaluation de l’impact . Il a également souligné que l’infrastructure de l’IA et les modèles de pointe sont concentrés dans quelques économies, laissant la plupart des pays, en particulier dans le Sud global, dans l’incapacité de participer efficacement à l’établissement des normes . Il a déclaré que la Chine, grâce à une coopération systématique avec l’ONU, a pu donner des moyens d’action aux pays en développement . Il a également présenté l’IA open-source comme un possible soutien à l’inclusion parce qu’elle est transparente et coopérative, tout en reconnaissant qu’elle ne constitue pas une solution complète . Parallèlement, il a déclaré que les goulets d’étranglement de la recherche restent importants : l’impact de la gouvernance elle-même est difficile à mesurer de manière exhaustive, les éléments de preuve provenant du Sud global restent faibles, et ce déséquilibre aggrave un déficit cognitif mondial et donc augmente le risque . Il a conclu en appelant à poursuivre les travaux sur un cadre objectif, fiable, transparent et mesurable .

Dans l’ensemble des présentations, plusieurs conclusions communes se sont dégagées. Les intervenants ont répété à plusieurs reprises que les capacités de l’IA progressent plus vite que la gouvernance, la sécurité et l’évaluation . Ils se sont également accordés sur le fait que les bénéfices sont réels mais dépendent du contexte local, des institutions et des capacités plutôt que de découler automatiquement de l’accès . Les préjudices, quant à eux, ont été présentés comme actuels et concrets, notamment la mauvaise traduction, la cybervulnérabilité, la dépendance émotionnelle, la manipulation démocratique et l’exploitation des enfants . Une autre préoccupation récurrente était la concentration : le calcul, l’infrastructure, les modèles de pointe et la capacité de gouvernance restent fortement concentrés, laissant une grande partie du monde, en particulier le Sud global, avec moins de voix, de protection et de capacité pratique .

Les intervenants différaient principalement sur les points à mettre en avant. Yoshua Bengio et Maria Ressa ont mis au premier plan l’urgence et le risque systémique , tandis que Joëlle Barral et Loreto Bravo ont accordé davantage de place aux conditions dans lesquelles l’IA peut produire un bénéfice public et économique . Haitao Song a mis en avant l’IA open-source comme une voie possible d’inclusion , alors même que plusieurs intervenants ont souligné la concentration persistante du calcul, de l’infrastructure et de la capacité de gouvernance .

En conclusion, Maria Ressa a mis en avant la composition internationale et équilibrée du panel du point de vue du genre, citant sur scène des représentants de l’Égypte, de la France, du Chili, de l’Inde, des Philippines, du Canada, du Nigeria, de la Finlande et de la Chine . Yoshua Bengio a terminé par un ultime avertissement : beaucoup de personnes sous-estiment encore la possibilité que l’intelligence artificielle continue de croître, et si tel est le cas, qu'elle pourrait modifier les dynamiques de pouvoir de notre planète d’une manière qui n’est pas encore comprise et qui exige donc notre attention . Maria Ressa a ensuite remercié l’ONU de « nous avoir créés » et d’avoir réuni le panel avant de remettre officiellement le rapport au Global Dialogue et de l’exhorter à agir .