Thematic discussion 4: Respecting, protecting and promoting human rights - Global Dialogue on Artificial Intelligence Governance - Day 2
Résumé
Cette discussion, convoquée par le HCDH et la Banque mondiale dans le cadre d'un Dialogue mondial de l'ONU sur la gouvernance de l'IA, s'est concentrée sur la rencontre entre l'intelligence artificielle, les droits humains, la transparence, la responsabilité et la supervision humaine. Le Haut-Commissaire Volker Türk a ouvert les débats en établissant un parallèle entre le déploiement de l'IA et la réglementation pharmaceutique, s'interrogeant sur la rigueur avec laquelle l'IA est traitée , et avertissant que l'IA alimente déjà la surveillance de masse, la désinformation et les biais fondés sur le genre . Il a soutenu que le droit international des droits humains fournit un cadre contraignant pour gouverner l'IA et que la réglementation ne doit pas être perçue comme un obstacle à l'innovation, mais plutôt comme le fondement de la confiance publique . Les panélistes du premier panel ont mis en lumière les dimensions genrées des préjudices causés par l'IA : Sima Bahous a noté que 44 % des systèmes d'IA évalués présentent des biais de genre et que jusqu'à 99 % des deepfake en ligne ciblaient des femmes . Samuel Arias Arzeno a souligné que les systèmes judiciaires doivent être renforcés pour traduire les principes des droits humains en recours effectifs , tandis qu'Amal El Fallah Seghrouchni a soulevé le défi particulier de la responsabilité dans les systèmes d'IA agentiques comportant des milliards de paramètres, où la responsabilité est extrêmement difficile à établir . Sonia Livingstone a présenté les données du panel scientifique faisant état d'une multiplication des violations des droits humains, notamment une augmentation exponentielle des contenus pédopornographiques générés par l'IA et des défaillances systématiques des modèles d'IA en matière de sécurité dans les environnements destinés aux enfants . Le deuxième panel a examiné des solutions concrètes et l'inclusion des voix marginalisées. Nighat Dad a soutenu que la diligence raisonnable en matière de droits humains est appliquée de manière inégale selon les marchés, des évaluations significatives n'étant menées que là où le droit de l'UE l'exige, créant ainsi un régime de droits à deux vitesses déterminé par la géographie . Alvitta Ottley a identifié un « décalage d'évaluation », notant que les indicateurs d'ingénierie tels que la vitesse et la précision ne correspondent pas aux questions sociétales relatives à la protection des droits humains . Felipe Paullier a souligné que les jeunes sont les utilisateurs les plus actifs de l'IA, mais qu'ils ne participent presque jamais aux prises de décision, et a appelé à leur inclusion significative dans les cadres nationaux de gouvernance de l'IA . Les interventions du public, émanant de gouvernements et de la société civile, ont renforcé ces thèmes. Le Brésil a présenté son Statut numérique pour les enfants et les adolescents, qui impose des mesures de protection de l'enfance dès la phase de conception , tandis que la Pologne et la République de Corée ont souligné la nécessité de stratégies nationales d'IA centrées sur l'humain et de cadres juridiques contraignants . Des représentants de la société civile, notamment d'AccessNow, de l'ICNL et de la Digital Rights Foundation, ont appelé à l'établissement de lignes rouges pour l'IA, à des évaluations obligatoires de l'impact sur les droits humains, et au financement des organisations de la société civile du Sud global en tant que systèmes d'alerte précoce face aux préjudices liés à l'IA . La discussion s'est conclue par un large consensus selon lequel la gouvernance de l'IA doit intégrer les droits humains dès la phase de conception, garantir la responsabilité tout au long du cycle de vie de l'IA, et inclure de manière significative les enfants, les femmes et les communautés du Sud global, non pas simplement en tant que sujets de protection, mais en tant que participants actifs à l'élaboration de la technologie qui gouverne de plus en plus leurs vies .Points clés
Objectif général
La discussion est un dialogue mondial convoqué par l'ONU sur la gouvernance de l'IA, co-dirigé par le HCDH et la Banque mondiale, réunissant des gouvernements, des organisations internationales, la société civile et des experts techniques afin d'examiner comment l'intelligence artificielle peut être développée, déployée et réglementée de manière conforme au droit international des droits humains. La session vise à identifier des cadres de gouvernance concrets, des mécanismes de responsabilité et des garanties, en particulier pour les groupes vulnérables tels que les femmes, les enfants et les communautés du Sud global, et à créer une dynamique en faveur d'une réglementation de l'IA contraignante et centrée sur les droits humains. ---Principaux points de discussion
- La nécessité urgente d'une réglementation de l'IA fondée sur les droits humains, par analogie avec d'autres secteurs réglementés. Plusieurs intervenants ont soutenu que l'IA doit être soumise à la même surveillance rigoureuse que celle appliquée aux médicaments, aux véhicules et aux avions. Le Haut-Commissaire aux droits de l'homme, Volker Türk, a ouvert les débats en demandant si la société accorde à l'IA le même soin qu'aux nouveaux médicaments, lesquels font l'objet de 10 à 15 ans d'essais cliniques avant leur autorisation de mise sur le marché . Il a averti que l'IA est déployée « à une vitesse vertigineuse » et alimente déjà la surveillance de masse, la désinformation et les biais de genre . Il a soutenu qu'une réglementation guidée par les droits humains est « la solution la plus évidente » et que la présenter comme un compromis avec l'innovation est un faux choix . Ce thème a été repris par Sima Bahous d'ONU Femmes , par le représentant de l'IDLO Mark Cassayre , et par la ministre irlandaise Niamh Smyth . - Les préjudices genrés et intersectionnels causés par l'IA, et les lacunes en matière de responsabilité qui permettent leur persistance. Les intervenants ont présenté de nombreuses preuves que l'IA nuit de manière disproportionnée aux femmes, aux jeunes filles et aux communautés marginalisées. Les recherches d'ONU Femmes ont révélé que 44 % des systèmes d'IA évalués présentent des biais de genre, et que près d'une femme défenseure des droits humains sur quatre interrogées avait subi des violences en ligne assistées par l'IA . Jusqu'à 99 % des deepfake et des images sexuelles créés par des IA ligne ciblent des femmes . Nighat Dad de la Digital Rights Foundation a souligné que la diligence raisonnable en matière de droits humains est appliquée de manière inégale selon les marchés - des évaluations significatives n'ont lieu que là où la loi l'exige (principalement dans l'UE), tandis que les mêmes systèmes sont déployés dans le Sud global sans contrôle équivalent . Elle a appelé à des évaluations obligatoires de l'impact sur les droits des femmes et des enfants, menées avant le déploiement, avec la participation des communautés concernées . Esther Eghobamien-Mshelia du Comité CEDAW a réaffirmé que la CEDAW constitue un cadre essentiel obligeant les États à parvenir à l'égalité substantielle et à s'attaquer aux obstacles structurels renforcés par l'IA . - La vulnérabilité particulière des enfants dans les environnements médiatisés par l'IA et l'insuffisance des protections actuelles. Les droits de l'enfant ont constitué une préoccupation transversale tout au long de la session. Sonia Livingstone du Panel scientifique indépendant a rapporté que, dans 11 pays du Sud global, jusqu'à un enfant par classe a déclaré que l'IA avait été utilisée pour créer des fichiers à caractère sexuel le représentant, et que les signalements de contenus pédopornographiques générés par l'IA augmentent de façon exponentielle . Les évaluations des risques menées par Stanford sur les compagnons IA ont révélé que ces produits ne satisfont pas aux normes de sécurité de base . Jhalak M. Kakkar a insisté sur le fait que les systèmes d'IA doivent être conçus avec la sécurité des enfants intégrée dès le départ, et non ajoutée après coup , et a soulevé la question de l'impact d'une surveillance constante sur le développement des enfants en tant que citoyens démocratiques . Isabella Henriques, s'exprimant au nom de plus de 120 signataires d'une déclaration commune de la société civile, a appelé à ce que les droits de l'enfant constituent une considération transversale dans tous les cadres de gouvernance de l'IA . - Les lacunes en matière de responsabilité dans les systèmes d'IA agentiques et le défi d'attribuer la responsabilité dans des chaînes multi-agents complexes. Plusieurs panélistes ont identifié l'IA agentique - des systèmes dans lesquels des réseaux d'agents autonomes agissent sans instruction humaine directe - comme le défi juridique et de gouvernance émergent le plus significatif. Amal El Fallah Seghrouchni du Maroc a décrit le problème central : lorsqu'un réseau d'agents IA produit un résultat préjudiciable, il est difficile de déterminer quel agent est responsable et comment la responsabilité doit être répartie . Elle a proposé trois obligations : une documentation structurée des chaînes d'agents, la désignation d'un responsable humain identifiable pour les questions relatives aux droits, et un droit à réparation dans un délai raisonnable . Sasha Luccioni a averti que l'IA agentique amplifie les degrés de séparation entre les utilisateurs et la technologie sous-jacente, rendant plus difficile l'identification de l'origine des défaillances . Les résultats du sondage auprès du public, rapportés par Peggy Hicks, ont montré que les répondants considèrent en grande majorité les entreprises développant l'IA comme les principales responsables, suivies des États, puis des organisations qui la déploient . - Les asymétries de pouvoir mondiales dans la gouvernance de l'IA, notamment l'exclusion du Sud global, de la société civile et des communautés marginalisées des processus décisionnels. Plusieurs intervenants ont remis en question la concentration du pouvoir en matière d'IA dans un petit nombre d'entreprises et de pays. Kakkar a soutenu que sans diffusion de cette concentration de pouvoir, les droits humains, en particulier pour les populations du Sud global, ne peuvent être protégés . Pria Chetty de Research ICT Africa a proposé un cadre « IA juste », soutenant que les modèles éthiques d'IA dominants sont autorégulatoires, calibrés pour les pays à revenus élevés, et approfondissent les inégalités existantes . Linda Bonyo, dans ses remarques de clôture, a souligné que 51 % des discussions sur la gouvernance de l'IA se déroulent à Genève, alors que de nombreuses voix du reste du monde en sont exclues parce qu'elles ne peuvent pas obtenir de visas, un processus lui-même façonné par des algorithmes opaques . L'Association pour les communications progressistes a souligné que les communautés constituent « le premier kilomètre, et non le dernier kilomètre » de l'IA et doivent être placées au centre de la gouvernance . ---Ton général
Les participants se sont montrés préoccupés mais déterminés. Ils ont exprimé dès le début un sentiment d'urgence , et ont averti que la société risque de répéter les échecs de la gouvernance climatique en permettant à des intérêts puissants de retarder l'action . Cette gravité a persisté tout au long du premier panel, où les panélistes ont présenté des preuves empiriques croissantes des préjudices subis par les femmes, les enfants et les communautés marginalisées. Cependant, le ton a progressivement évolué vers une résolution constructive des problèmes lors du deuxième panel et des interventions du public. Des ministres des Pays-Bas, d'Espagne, d'Irlande, de Corée et de Pologne ont présenté des mesures nationales concrètes, tel que des registres d'algorithmes, des lois sur l'IA, des lois sur la protection de l'enfance, et ont signalé que la gouvernance n'est pas simplement aspirationnelle . Les représentants de la société civile, bien que critiques, ont formulé des recommandations précises plutôt que de simplement dresser un inventaire des préjudices. Dans les remarques de clôture, les intervenants ont exprimé des résolutions collectives, le co-président Oscar López Águeda a reconnu que « nous sommes en retard », tout en affirmant que la direction prise - vers une IA humaniste et respectueuse des droits - est claire et non négociable . Tout au long de la session, un courant sous-jacent de frustration était perceptible, notamment de la part des représentants du Sud global qui ont noté les exclusions structurelles du dialogue même censé remédier au problème.Intervenants
- Ulises Gutiérrez - Représentant spécial pour les technologies émergentes, Mexique - Jhalak M. Kakkar - Directrice exécutive, Centre for Communication Governance, Université nationale de droit de Delhi - Clara Chappaz - Ambassadrice pour l'IA et les affaires numériques, France - Sopio Kiladze - Membre, Comité des droits de l'enfant de l'ONU - Isabella Hendricks - (s'est exprimée au nom de l'Instituto Alana lors de la session ; voir également Isabella Henriques ci-dessous) - Felipe Paullier - Secrétaire général adjoint, Bureau de l'ONU pour la jeunesse - Linda Bonyo - Fondatrice et PDG, Lawyers Hub Africa ; Co-présidente thématique de la session ; expertise en droit, technologie et droits numériques en Afrique - Sima Bahous - Directrice exécutive, ONU Femmes ; expertise en égalité des genres, droits des femmes et impacts genrés de l'IA - Zachary Lampel - Conseiller juridique principal et coordinateur, Programme des droits numériques, Centre international pour le droit des organisations à but non lucratif (ICNL) - João Brant - Secrétaire aux politiques numériques, Secrétariat à la communication sociale, Présidence de la République du Brésil - Volker Turk - Haut-Commissaire des Nations Unies aux droits de l'homme ; expertise en droit international des droits humains, gouvernance de l'IA et responsabilité - Shumaila Hussaini Shahani - Responsable des politiques et du plaidoyer, Tech Global Institute ; expertise sur les lacunes en matière d'équité et de responsabilité entre les plateformes technologiques, les gouvernements et les communautés de la majorité mondiale - Jérôme Bellion-Jourdan - Chercheur associé, Institut pour la négociation mondiale ; Vice-président, Comité directeur de l'initiative AI for Good Impact ; expertise en négociation multilatérale et processus de gouvernance de l'IA - Esther Eghobamien-Mshelia - Membre, Comité pour l'élimination de la discrimination à l'égard des femmes (CEDAW) ; expertise en discrimination de genre, droits des femmes et gouvernance de l'IA - Mark Cassayre - Observateur permanent de l'IDLO (Organisation internationale de droit du développement) auprès de l'ONU à Genève ; expertise en état de droit, innovation numérique et accès à la justice - Franco Giandana Gigena - Analyste des politiques, AccessNow ; expertise en droits numériques, surveillance et gouvernance de l'IA pour la majorité mondiale - Samuel Arias Arzeno - Juge, Première chambre de la Cour suprême de justice, République dominicaine ; expertise en responsabilité judiciaire, IA dans les systèmes judiciaires et droit des droits humains - Jeremy Ng - Représentant, Banque mondiale ; impliqué dans la co-direction de la session de dialogue sur la gouvernance de l'IA du système onusien - Amal El Fallah Seghrouchni - Ministre déléguée chargée de la Transition numérique, Maroc ; expertise en systèmes d'IA, responsabilité algorithmique et droits cognitifs - Willemijn Aerdts - Ministre de l'Économie numérique et de la Souveraineté, Pays-Bas ; expertise en gouvernance de l'IA, transparence algorithmique et droits numériques des enfants - David Lametti - Représentant permanent du Canada auprès de l'ONU, Genève ; ancien ministre de la Justice du Canada ; expertise en droit, responsabilité civile, gouvernance de l'IA et droits de l'enfant - Wanjin Park - Vice-président, KT (entreprise de télécommunications coréenne) ; expertise en évaluation des risques liés à l'IA, diligence raisonnable en matière de droits humains et normes de sécurité de l'IA - Co-modérateur - A facilité le segment des interventions du public ; rôle et nom non précisés dans la transcription - Jihoon Cha - Représentant permanent de la République de Corée auprès de l'ONU, Genève ; expertise en législation sur l'IA, droits humains et renforcement mondial des capacités en matière d'IA - Sonia Livingstone - Membre, Panel scientifique international indépendant sur l'IA ; expertise en droits de l'enfant, sécurité en ligne et évaluation de l'impact de l'IA fondée sur des données probantes - Oscar Lopez Agueda - Ministre de la Transformation numérique et de la Fonction publique, Espagne ; Co-président thématique de la session ; expertise en réglementation de l'IA, droits numériques et gouvernance de l'IA dans l'UE - Elizabeth Tan - Directrice de la protection internationale, HCR ; expertise en protection des réfugiés, apatridie et impact de l'IA sur les personnes déplacées et apatrides - Niamh Smyth - Ministre chargée de l'Intelligence artificielle, Irlande ; expertise en gouvernance de l'IA, violences basées sur le genre et droits numériques des enfants - Nighat Dad - Fondatrice, Digital Rights Foundation ; expertise en violences basées sur le genre facilitées par la technologie, droits numériques dans le Sud global et responsabilité en matière d'IA - Peggy Hicks - Directrice, Division des procédures thématiques et spéciales, Haut-Commissariat des Nations Unies aux droits de l'homme (HCDH) ; hôte et modératrice de la session - Alejandra De Bellis Bonilla - Représentante permanente de l'Uruguay auprès de l'ONU, Genève ; expertise en gouvernance de l'IA, égalité des genres et transformation numérique - Anna Osterling - Représentante auprès de l'ONU, Forum mondial pour le développement des médias (GFMD) ; expertise en journalisme, intégrité de l'information et impact de l'IA sur les écosystèmes médiatiques - Porte-parole de Raman Jit Singh Chima - Rebecca Rektimbo, s'exprimant au nom de Raman Jit Singh Chima, Directeur mondial des programmes, Association pour les communications progressistes (APC) ; expertise en connectivité, droits numériques et infrastructures centrées sur les communautés - Rafał Kownacki - Directeur, Département de la coopération internationale, Ministère des affaires numériques, Pologne ; expertise en gouvernance de l'IA, droits humains et stratégie nationale de numérisation - Robert Baruch - Affaires publiques, Relations européennes et multilatérales, Universal Music Group ; expertise en droits des créateurs, IA et propriété intellectuelle, et gouvernance de l'industrie musicale - Pria Chetty - Directrice exécutive, Research ICT Africa ; expertise en politique numérique, cadre d'IA juste et gouvernance de l'IA pour le continent africain et la majorité mondiale - Sasha Luccioni - Co-fondatrice et directrice scientifique, Sustainable AI Group ; expertise en empreinte environnementale de l'IA, efficacité énergétique et transparence des systèmes d'IA - Isabella Henriques - Directrice exécutive, Instituto Alana (Brésil) ; expertise en droits de l'enfant dans l'environnement numérique, gouvernance de l'IA et perspectives du Sud global - Alvitta Ottley - Membre, Panel scientifique international indépendant sur l'IA ; expertise en lacunes probatoires, méthodologie d'évaluation et relation entre science et société dans la gouvernance de l'IA - Anita Pipan - Conseillère scientifique, Représentation permanente de la Slovénie auprès de l'ONU, Genève ; a présenté la déclaration de la République de Slovénie sur la gouvernance de l'IA et les approches centrées sur l'humain --- Intervenants supplémentaires : - Egriselda López - Ambassadrice du Salvador ; Co-présidente du dialogue élargi (mentionnée mais n'a pas pris la parole directement dans la transcription) - Rein Tammsaar - Ambassadeur d'Estonie ; Co-président du dialogue élargi (mentionné mais n'a pas pris la parole directement dans la transcription)Résumé élargi : Dialogue mondial de l'ONU sur la gouvernance de l'IA - Groupe thématique sur les droits de l'homme, la transparence, la responsabilité et la supervision humaine
#
Ouverture et contexte
Cette séance a été organisée dans le cadre du Dialogue mondial de l'ONU sur la gouvernance de l'IA, co-dirigée par le Haut-Commissariat des Nations Unies aux droits de l'homme (HCDH) et la Banque mondiale, sous la direction thématique des co-présidents Linda Bonyo, fondatrice et directrice générale du Lawyers Hub Africa, et S.E. Óscar López Águeda, ministre espagnol de la Transformation numérique et de la Fonction publique . Peggy Hicks, directrice de la Division des procédures thématiques et spéciales du HCDH, a ouvert les travaux en accueillant les participants à une session axée sur le respect, la protection et la promotion des droits de l'homme, de la transparence, de la responsabilité et de la supervision humaine dans le contexte de l'intelligence artificielle . Le dialogue s'est déroulé sous la direction de l'Ambassadrice Egriselda López du Salvador et de l'Ambassadeur Rein Tammsaar d'Estonie, et a été décrit comme une réalisation remarquable de la façon dont le système onusien répond aux enjeux actuels .
#
Allocution d'ouverture du Haut-Commissaire
Volker Türk, le Haut-Commissaire des Nations Unies aux droits de l'homme, a ouvert son intervention avec une analogie : avant qu'un nouveau médicament arrive sur le marché, il fait l'objet de dix à quinze années d'essais cliniques, d'examen réglementaire et d'autorisation de mise sur le marché, et même avec toutes ces garanties, des erreurs peuvent encore survenir . Il a demandé directement si la société prend les mêmes précautions avec l'intelligence artificielle . Sa réponse était préoccupante : l'IA est déjà développée et déployée à une vitesse fulgurante et alimente la surveillance de masse, la désinformation sur les réseaux sociaux et permet des discriminations, notamment de genre. De plus, les enfants subissent de plus en plus de préjudices à cause des algorithmes de l'IA et les centres de données hébergeant les serveurs d'IA sont nocifs pour l'environnement . Cependant, il a reconnu le potentiel remarquable de l'IA pour soutenir le diagnostic médical, accélérer la recherche scientifique et renforcer les services publics .
Volker Türk a soutenu qu'il faut mettre en place une réglementation guidée par les droits de l'homme mais que la société continue de ne pas l'adopter . Il a établi un parallèle avec le changement climatique et a averti que de précieuses années ont été perdues parce que des acteurs puissants ont semé le doute sur la science, retardé l'action et privilégié des intérêts économiques et politiques à court terme, et que la même dynamique risque de se reproduire avec l'IA . Il a cité le roman Le Château de Franz Kafka, et il a établi un parallèle entra notre société et le personnage principal du livre, un géomètre piégé dans un système de pouvoir dans lequel les humains perdent peu à peu le contrôle de leur existence. Il a soutenu que l'IA est fondamentalement une question de pouvoir sur les données, les marchés, les ressources et l'information . Sa réponse à ce défi était claire : les droits de l'homme aident à reconquérir le contrôle de nos existences et constituent un contrepoids à l'exercice du pouvoir. Des garde-fous sur le développement de l'IA sont nécessaires pour garantir la transparence, l'inclusion et la responsabilité . Il a également invoqué la maxime de Lord Acton selon laquelle « le pouvoir tend à corrompre et le pouvoir absolu corrompt absolument » pour justifier la nécessité de maintenir le pouvoir de l'IA sous contrôle .
Sur la question de la réglementation, Volker Türk a explicitement rejeté l'idée qu'elle constitue un compromis avec l'innovation, faisant valoir que les normes de sécurité applicables aux médicaments, aux voitures et aux avions ne sont pas considérées comme des obstacles au progrès, mais sont précisément la raison pour laquelle les gens font confiance à ces technologies . Il a appelé à intégrer les droits de l'homme dans la conception, le développement, le déploiement et l'utilisation de l'IA, notant que le droit international des droits de l'homme constitue un cadre juridique contraignant pour protéger les données, éviter les discriminations, accéder à la justice et garantir l'égalité . Il a souligné que la diligence raisonnable en matière de droits de l'homme et les évaluations d'impact des systèmes d'IA sont essentielles, tout comme des garanties solides en matière de protection des données et de respect de la vie privée . Il a également averti que lorsque l'IA collecte des données ou prend une décision sans intervention humaine, la responsabilité peut se dissoudre dans le système, et que la supervision humaine ne peut pas se réduire à un simple tampon. Il exige donc qu'une personne soit investie de l'autorité, de la compétence, du temps, de l'indépendance et du pouvoir de modifier, voire d'arrêter un système .
Il a annoncé que le lendemain, son bureau lancerait le Human Rights Data Exchange (HRDx), un premier service transparent qui vise à fournir des preuves sur les lieux où les droits sont menacés, ce qui s'est passé, pourquoi et ce qu'il convient de faire . Il a également mentionné le service consultatif du HCDH en matière de droits de l'homme, créé dans le cadre du Pacte numérique mondial, visant à aider les États et d'autres acteurs à gouverner l'IA conformément à leurs responsabilités en matière de droits de l'homme . Il a conclu en opposant le slogan officieux de l'industrie technologique, « plus grand, plus rapide, meilleur », à un slogan de sa création : « plus intelligent, plus humain, plus sage » .
#
Allocutions d'ouverture des co-présidents thématiques
Linda Bonyo a apporté un point de vue africain et a pris la parole au nom des travailleurs de plateforme gérés par des algorithmes au Kenya. Elle a reconnu l'asymétrie du pouvoir ainsi que les voix des jeunes générations absentes de la salle . Elle a mis en avant le lancement de l'Africa AI Governance Index, qui, pour la première fois, suit les stratégies, les lois et les institutions en matière d'IA dans tous les États africains, et a invité les participants à s'engager avec ces travaux sur AIpolicy.africa .
Le ministre López Águeda a présenté la gouvernance de l'IA comme un choix entre droits numériques et oligarchie, avertissant que sans une gouvernance inclusive, le Sud global ne servira que de batterie ou de fournisseur de données pour les grandes puissances . Il a présenté les réalisations législatives concrètes de l'Espagne, notamment la loi européenne sur l'IA signée sous la présidence espagnole de l'UE, l'interdiction des deepfakes sexuels et de la pornographie infantile dans la législation européenne, la création de la première agence européenne de supervision de l'IA, et une loi sur la protection de l'enfance restreignant l'accès des moins de 16 ans aux réseaux numériques . Il a également mentionné la charte ibéro-américaine des droits numériques, qui est une initiative portée par l'Espagne .
#
Premier panel : droits de l'homme, responsabilité et justice
Le premier panel était modéré par l'Ambassadeur David Lametti, Représentant permanent du Canada auprès de l'ONU et ancien ministre de la Justice, qui a cadré la discussion autour du rôle des systèmes judiciaires dans la mise en œuvre de la responsabilité et la défense des droits de l'homme pour les personnes affectées par l'IA, y compris les enfants . Il a noté que la responsabilité civile est un principe qui existe dans la plupart des systèmes judiciaires et qui est axé sur la responsabilité humaine, mais que le défi posé par l'IA est d'être soumise au jugement et à l'intelligence humains alors que c'est une machine qui prend la décision . Il a décrit la loi proposée par le Canada qui interdirait aux plateformes sociales d'accueillir des enfants de moins de 16 ans jusqu'à ce que leur sécurité soit prouvée, et exigerait que les chatbots d'IA soient déclarés sûrs avant d'être exposés aux enfants, avec un commissaire au numérique chargé d'assurer la conformité .
Sima Bahous, directrice exécutive d'ONU Femmes, a soutenu que, sans réglementation, l'IA devient non seulement un miroir des inégalités existantes, mais un puissant mécanisme d'amplification de la discrimination, de l'exclusion et de la violence à l'égard des femmes et des jeunes filles . Elle a présenté des données pour soutenir son propos : 44 % des systèmes d'IA évalués présentent des biais de genre parce qu'ils sont entraînés sur des données qui reflètent déjà des biais existants ; près d'une femme sur quatre parmi les défenseures des droits de l'homme, les militantes et les journalistes interrogées avait subi des violences en ligne assistées par l'IA ; et jusqu'à 99 % des deepfakes et des images sexuelles manipulées en ligne ciblent des femmes . Elle a noté que 41 % des femmes interrogées s'autocensurent sur les réseaux sociaux pour éviter les abus, ce qui pousse les femmes et les filles hors des espaces en ligne et menace la participation démocratique . S'appuyant sur le rapport du panel scientifique indépendant de la veille, elle a noté que 88 % des principaux chercheurs en IA sont des hommes et que les femmes ne représentent que 30 % de la main-d'œuvre mondiale dans le domaine de l'IA . Elle a également noté que sur les 138 pays évalués, seuls 24 font référence au genre dans leurs stratégies nationales d'IA, et seulement 18 incluent des dispositions substantielles tenant compte du genre . Elle a soutenu que les États demeurent les principaux garants des obligations au titre du droit international et des droits de l'homme, notamment la Déclaration universelle, le PIDCP et la CEDAW, et que les entreprises technologiques ne peuvent pas se cacher derrière la complexité de leurs systèmes . Elle a appelé à des évaluations d'impact obligatoires sur les droits de l'homme avant et après le déploiement, avec l'égalité des genres traitée comme non négociable, et à ce que les femmes et les filles, les technologues féministes, les communautés autochtones, les organisations syndicales, les défenseurs des droits des personnes handicapées et la société civile soient véritablement impliqués et habilités . Elle a posé de questions qui, selon elle, permettent d'établir des mécanismes de responsabilité : qui façonne l'IA ? Qui en bénéficie ? Qui en subit les risques ? Et, qui a une place dans les prises de décision concernant l'IA ?
Amal El Fallah Seghrouchni, ministre déléguée du Maroc, a introduit une distinction entre les préjudices exogènes, c'est-à-dire ceux qui sont externes aux êtres humains et qui peuvent être observés et mesurés, et les préjudices endogènes, qui se produisent dans l'esprit humain et sont imperceptibles même pour ceux qui les vivent . Elle a soutenu que lorsque des algorithmes manipulent la psychologie d'un enfant, cela ne peut être ni mesuré ni même perçu, et a demandé comment la société peut vérifier ses propres neurones ou comprendre que le cerveau humain a été transformé . Selon elle, la tentative du Chili d'introduire dans la loi des droits relatifs à la liberté cognitive constitue une réponse visionnaire à ce défi . Elle a également noté que même les chercheurs en IA ne disposent pas toujours des outils nécessaires pour comprendre la complexité des algorithmes, et que les grands modèles de langage comportant entre 175 et 180 milliards de paramètres rendent la traçabilité de la responsabilité extrêmement difficile .
Dans sa deuxième intervention, Amal El Fallah Seghrouchni a identifié la responsabilité dans les systèmes d'IA agentique comme probablement le défi juridique le plus important de la décennie, notant que dans un réseau d'agents individuellement autonomes, il n'y a pas d'être humain à l'origine de la décision finale, ce qui rend difficile de déterminer quel agent est responsable et comment la responsabilité doit être répartie . Elle a illustré l'ampleur du défi par un exemple concret tiré de la plateforme marocaine Iderati X.0, qui traite 52 millions de transactions administratives par jour, notant qu'à une telle échelle, il devient extrêmement difficile d'identifier la cause exacte lorsqu'un problème survient . Elle a proposé trois obligations concrètes : une documentation structurée des chaînes d'agents précisant quel agent fait quoi et quand ; la désignation d'un être humain identifiable responsable de toutes les questions liées aux droits lorsque des agents sont déployés dans les services publics ; et un droit à un recours en temps utile afin que les êtres humains puissent obtenir réparation à la mesure de la rapidité des systèmes d'IA .
Samuel Arias Arzeno, juge de la Première Chambre de la Cour suprême de justice de la République dominicaine, a soutenu que le véritable défi de la gouvernance ne se pose pas lorsque des lois ou des principes éthiques sont adoptés, mais lorsqu'une personne estime qu'un système d'IA a violé ses droits de l'homme. À ce moment, la gouvernance devient une réalité . Il a soutenu que les systèmes judiciaires doivent être considérés non pas simplement comme des utilisateurs de l'IA, mais comme des institutions essentielles pour convertir les principes des droits de l'homme en véritables droits de l'homme, et qu'aucune institution publique ne peut justifier une décision en disant que c'est ce que le système lui a indiqué de faire . Il a noté que, par le biais de la Justice Action Coalition, des gouvernements, des organisations civiles, des organisations internationales et des systèmes judiciaires travaillent ensemble pour s'assurer que la gouvernance de l'IA ne se limite pas à la conception de politiques publiques, mais peut être rendue effective par des systèmes judiciaires fondés sur les personnes. Il a ajouté la République dominicaine co-préside avec la Banque mondiale les travaux sur les technologies émergentes et l'IA dans le domaine de la justice . Il a proposé quatre priorités : renforcer les capacités institutionnelles des avocats et des jurés ; assurer la transparence et la traçabilité dans l'utilisation de l'IA ; maintenir une supervision humaine effective ; et garantir que toutes les personnes disposent de mécanismes effectifs pour accéder à la justice et obtenir réparation .
Sonia Livingstone, membre du Panel scientifique international indépendant sur l'IA, a rapporté que le panel a constaté que les preuves de violations des droits de l'homme sont actuellement bien plus convaincantes que les preuves de respect des droits de l'homme dans de nombreux contextes où l'IA est utilisée . Le panel a documenté des menaces pour l'écosystème de l'information à travers la persuasion et la tromperie générées par l'IA, la désinformation et la méfiance, avec des impacts négatifs sur la santé collective, la participation démocratique et l'intégrité électorale . Il a également documenté des menaces pour la vie privée et la sécurité, les données personnelles étant collectées, manipulées, utilisées abusivement et exploitées, ainsi que des preuves de préjudices en termes d'inégalité et d'injustice, le pouvoir de l'IA étant concentré dans très peu d'entreprises, de pays et de langues . Le panel a identifié quatre catégories de risques : les risques directs ; les risques découlant d'une capacité mondiale très inégale ; les coûts d'opportunité liés à l'incapacité à réaliser les bénéfices de l'IA ; et les risques liés au déploiement de systèmes sans garanties fondées sur les droits .
Concernant les enfants, Sonia Livingstone a présenté des données alarmantes. Dans 11 pays du Sud global, jusqu'à un enfant par classe a signalé que l'IA avait été utilisée pour créer des deepfakes sexuellement explicites les représentant, les signalements de matériel d'abus sexuel sur enfants généré par l'IA auprès de la cyber tip line américaine NCMEC augmentent de façon exponentielle, des fichiers montrant des abus sexuels sur enfants sont utilisé pour entraîner les systèmes d'IA, et les auteurs d'infractions peuvent désormais affiner des modèles à partir d'images d'exploitation sexuelle d'enfants . Une enquête nationale américaine a révélé qu'un enfant sur trois avait discuté de questions émotionnelles importantes avec un compagnon IA, alors que l'évaluation des risques de Stanford concernant les compagnons IA a conclu que ces produits ne satisfont pas aux normes de sécurité de base . Elle a renvoyé les participants aux appels de M. Kateris invitant les nations à adopter un engagement pour la sécurité des enfants dans le domaine de l'IA . Elle a mis en garde contre le fait que le problème ne sera pas résolu en restreignant les enfants, et a rappelé les droits des enfants concernant l'expression, la participation, l'éducation et l'information à l'ère du numérique .
Sasha Luccioni, co-fondatrice et directrice scientifique du Sustainable AI Group, a soutenu que la transparence sur l'empreinte environnementale de l'IA est un droit humain fondamental qui permet aux utilisateurs de faire des choix éclairés entre les outils . Elle a noté que si les bénéfices de l'IA peuvent techniquement être mondiaux, les impacts négatifs en termes d'eau, d'énergie, d'émissions et de santé sont très locaux et affectent de manière disproportionnée les populations les plus marginalisées . Elle a décrit la difficulté d'obtenir de la transparence même pour des organisations internationales telles que l'AIE, qui peinent à obtenir des informations parce que les pays membres eux-mêmes ne les possèdent pas . Elle a présenté son AI Energy Score Project - des étiquettes d'efficacité énergétique pour les modèles d'IA - comme une étape vers une prise de décision éclairée et une réglementation éventuelle . Dans sa deuxième intervention, elle a averti que l'IA agentique amplifie les degrés de séparation entre un utilisateur et la technologie sous-jacente, rendant de plus en plus difficile l'identification de l'origine des défaillances .
Jhalak M. Kakkar, directrice exécutive du Centre for Communication Governance de la National Law University de Delhi, a soutenu que les cadres existants des droits de l'homme, notamment le droit à l'égalité, à la vie privée et à la liberté d'expression, doivent être réinterprétés dans le contexte de l'IA . Elle a soulevé la question de ce que signifie la liberté de pensée lorsque l'IA menace l'autonomie cognitive , et a noté que la concentration des centres de données et l'extraction de minéraux principalement dans des zones déjà marquées par des inégalités dans le Sud global soulèvent des questions fondamentales de justice environnementale et économique . Elle a soutenu que les systèmes judiciaires devront faire face à la complexité de l'établissement de la vérité à une époque d'érosion des connaissance, combler les lacunes en matière de responsabilité, naviguer dans les questions de transparence et remédier au fossé de gouvernance transnational et transfrontalier alors que les entreprises sont mondiales . Elle a conclu que sans une répartition du pouvoir actuellement détenu par une poignée d'entreprises relevant de quelques juridictions, les droits de l'homme ne peuvent être protégés, et ce en particulier pour les populations du Sud global .
#
Résultats du sondage auprès des participants
Peggy Hicks a présenté les résultats d'un sondage réalisé auprès des participants à la session. Plusieurs répondants se sont déclarés préoccupés par l'insuffisance des mesures de gouvernance en place pour faire face aux défis et aux opportunités de l'IA . Les deux principales préoccupations en matière de droits de l'homme identifiées étaient la responsabilité et l'état de droit, ainsi que l'impact de l'IA sur les enfants, suivis par la surveillance et l'utilisation de l'IA par les forces de l'ordre, puis la durabilité environnementale . Sur la question de la responsabilité pour les actions de l'IA agentique, les répondants ont massivement désigné les entreprises qui développent le modèle d'IA comme la principale partie responsable, suivies des États, puis des organisations qui déploient le système. . Hicks a également noté que le HCDH et l'UIT présenteraient jeudi une enquête intitulée « Moi et l'IA », menée auprès de 1 000 enfants dans 49 pays, dans laquelle les enfants ont exprimé leur souhait que l'IA soit façonnée avec eux et pas seulement pour eux, qu'elle respecte leurs droits, et qu'ils ne souhaitent pas simplement en être protégés .
#
Deuxième panel : solutions, données probantes et inclusion
Le deuxième panel était modéré par S.E. Clara Chappaz, Ambassadrice pour l'IA et les affaires numériques de France, qui a cadré la discussion autour de trois questions : quelles bonnes pratiques existent en matière de diligence raisonnable relative aux droits de l'homme ? Quels outils techniques et données probantes sont nécessaires pour comprendre les impacts avant le déploiement ? Et, comment garantir que les enfants et les autres populations concernées soient véritablement associés à la gouvernance de l'IA .
Willemijn Aerdts, ministre de l'Économie numérique et de la Souveraineté des Pays-Bas, a présenté des outils nationaux concrets, notamment un cadre algorithmique traduisant les exigences légales en lignes directrices pratiques, une évaluation d'impact sur les droits fondamentaux et les algorithmes, et un registre des algorithmes couvrant tous les algorithmes utilisés par le gouvernement néerlandais . Sur la question des enfants, elle a souligné que lors de l'élaboration de politiques pour les enfants et les jeunes, ceux-ci doivent être véritablement inclus dans le processus décisionnel aux côtés des parents et des éducateurs, et a noté que les jeunes sont souvent confrontés à des problèmes trop importants pour les parents mais trop mineurs pour la police .
Felipe Paullier, Secrétaire général adjoint du Bureau de l'ONU pour la jeunesse, a soutenu que la question ne devrait pas seulement porter sur ce que l'IA peut faire, mais sur ce que l'IA peut aider l'humanité à construire comme avenir, et que l'IA doit être évaluée non seulement sur la vitesse et l'efficacité, mais sur sa contribution au bien-être humain, à la dignité et aux droits de l'homme . Il a souligné que les jeunes sont les utilisateurs les plus actifs de l'IA et parmi les innovateurs les plus fréquents au sein des entreprises d'IA, et pourtant ils ne sont presque jamais les décideurs, bien qu'ils vivent le plus longtemps avec les conséquences des décisions prises aujourd'hui . Il a appelé à la création d'espaces significatifs permettant aux jeunes de participer à la gouvernance de l'IA au niveau national, avertissant que si de tels espaces ne sont pas créés, les jeunes en créeront eux-mêmes, comme cela s'est produit dans le domaine climatique .
Ulises Gutiérrez, Représentant spécial pour les technologies émergentes du Mexique, a soulevé la préoccupation selon laquelle les politiques publiques sont toujours en retard sur le développement technologique, et qu'il existe une compréhension politique insuffisante de l'impact du développement technologique, en particulier de l'IA . Il a soutenu que la question n'est pas ce qu'un être humain peut faire avec la technologie, mais ce que la technologie fait aux êtres humains . Il a appelé à un nouveau contrat social aux niveaux national et international, et pas seulement à une réglementation, pour gouverner l'IA dans un paysage en constante évolution .
Wanjin Park, vice-président de KT, a décrit l'approche de son entreprise consistant à définir les risques liés à l'IA en incluant les considérations relatives aux droits de l'homme, à évaluer les modèles et agents d'IA par rapport à ce cadre, et à faire fonctionner un comité de sécurité de déploiement au niveau de la direction avant de lancer des produits d'IA . Il a particulièrement mis en avant la taxonomie des risques liés à l'IA du projet BTEC du HCDH comme un travail important qui doit être développé de manière plus concrète et pratique . Il a noté que le problème se pose lorsque des systèmes multi-agents provenant de différentes entreprises sont interconnectés, chaque entreprise ayant sa propre définition du risque lié à l'IA, et a appelé à des normes communes et bien conçues pour créer une base partagée .
Nighat Dad, fondatrice de la Digital Rights Foundation, a livré une fine analyse en soutenant que la diligence raisonnable en matière de droits de l'homme telle que la pratiquent la plupart des entreprises d'IA aujourd'hui nrespecte pas les normes des Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l'homme car elle intervient après que les décisions de co-conception ont été prises, là où la réglementation l'impose, et sans la participation des personnes réellement concernées . Selon elle l'inégalité de la diligence raisonnable d'un pays à l'autre résulte d'un choix structurel, et non d'une différence des capacité. Elle s'est appuyée sur des évaluations significatives menées principalement dans l'UE, avec les mêmes systèmes déployés dans le Sud global sans examen équivalent. Elle a documenté plus de 23 000 cas de violence facilitée par la technologie, en particulier envers les femmes, les jeunes filles et les jeunes, grâce à la ligne d'assistance téléphonique contre le harcèlement en ligne de son organisation , et elle a soutenu que tout cadre de diligence raisonnable qui ne traite pas explicitement de la violence de genre facilitée par la technologie a exclu la moitié de la population de sa protection . Elle a proposé trois recommandations concrètes : des évaluations obligatoires d'impact sur les droits de genre et des enfants menées avant le déploiement avec la participation des communautés concernées ; des obligations de diligence raisonnable uniformes sur tous les marchés où un système est déployé ; et des évaluations répétées chaque fois que les capacités changent de manière significative, y compris les augmentations de la fonction agentique .
Alvitta Ottley, membre du Panel scientifique indépendant sur l'IA, a identifié deux défis scientifiques connexes : le décalage d'évaluation et le manque de données probantes . Sur le décalage d'évaluation, elle a soutenu que les questions d'ingénierie (peut-on rendre quelque chose plus rapide, plus précis, plus performant ?) ne sont pas les mêmes questions que celles que posent les sociétés, qui concernent la protection des droits de l'homme, la responsabilité des institutions et l'amélioration de la société . Elle a soutenu que si la société décide que le succès consiste à protéger les droits de l'homme, à favoriser une confiance appropriée et à préserver la responsabilité, alors les résultats mesurés doivent correspondre à ce qui est optimisé . Sur le manque de données probantes, elle a noté que si les preuves sur les performances des modèles d'IA sont abondantes, il existe très peu de preuves sur la façon dont l'IA affecte la prise de décision des personnes, l'apprentissage des enfants, les décisions cliniques ou le travail des agents publics, et que répondre à ces questions nécessite des études longitudinales, des collaborations interdisciplinaires et un travail minutieux avec des communautés protégées et mal desservies . Elle a conclu par une formulation qui a résonné tout au long du panel : la société doit décider à quoi ressemble le succès, et la science doit déterminer comment le mesurer .
Dans ses remarques de clôture, S.E. Clara Chappaz a synthétisé les conclusions du panel, notant que la rapidité du développement technologique dans un monde géopolitiquement fragmenté exige de définir ce que le succès signifie pour les êtres humains, sur la base des valeurs qu'ils choisissent de privilégier, et que c'est uniquement la décision de l'humanité, pas celle de la technologie . Elle a repris l'idée de Nighat Dad selon laquelle l'inégalité géographique de la diligence raisonnable représente des choix structurels et non des lacunes de capacité, et a averti que si cela n'est pas résolu, les communautés se retireront des espaces numériques ou en créeront de nouveaux sans gouvernance ni valeurs .
#
Interventions du public
Le segment des interventions du public a accueilli des contributions de gouvernements et d'organisations de la société civile de plusieurs régions, modéré par les co-présidents thématiques.
La ministre irlandaise Niamh Smyth a soutenu que la gouvernance mondiale de l'IA doit s'aligner sur les cadres internationaux des droits de l'homme, en promouvant la liberté d'expression, la vie privée, l'accès à l'information et l'égalité des genres, tout en luttant activement contre toutes les formes de violence, y compris la violence sexuelle et de genre . Elle a exprimé une préoccupation particulière quant au fait que, sans les garanties nécessaires en matière de droits de l'homme et de supervision, les systèmes d'IA facilitent la violence de genre, et que la modération des contenus en ligne par l'IA sans supervision humaine peut amplifier la désinformation, affectant de manière disproportionnée les femmes et les jeunes filles .
Robert Baruch d'Universal Music Group a ancré la position de l'industrie musicale dans le droit international des droits de l'homme, citant l'article 27 de la Déclaration universelle des droits de l'homme et l'article 15 du PIDESC comme protégeant les intérêts moraux et matériels des créateurs à l'ère de l'IA . Il a soutenu que l'avenir de l'IA doit être construit non pas en choisissant entre l'innovation et les droits des créateurs, mais en faisant progresser les deux ensemble, et a proposé trois piliers : le contrôle des créateurs sur la façon dont leurs œuvres sont utilisées pour développer des systèmes d'IA ; la transparence sur le moment et la manière dont les œuvres sont utilisées ; et la supervision humaine garantissant que l'IA amplifie plutôt que remplace la créativité humaine .
La représentante de la Slovénie, Anita Pipan, a soutenu que la confiance dans l'IA n'est pas seulement un objectif éthique mais une condition préalable à une adoption plus large de l'IA, et a décrit la stratégie nationale d'IA 2030 de la Slovénie comme promouvant une approche centrée sur l'être humain, ancrée dans les droits de l'homme, les valeurs démocratiques, l'éthique, la sécurité, la transparence et la responsabilité . Elle a accordé une importance particulière à la protection de la diversité linguistique et culturelle, soutenant qu'une IA inclusive devrait refléter et préserver toutes les langues et cultures .
Zachary Lampel de l'International Center for Not-for-Profit Law a proposé trois actions concrètes : des lignes rouges pour l'IA - des interdictions claires ou des moratoires sur les systèmes et utilisations de l'IA qui présentent des risques inacceptables pour les droits de l'homme, explicitement prévus dans la résolution de l'Assemblée générale des Nations Unies de 2024 intitulée « Saisir les opportunités offertes par des systèmes d'intelligence artificielle sûrs, sécurisés et dignes de confiance pour le développement durable » ; des certifications standardisées liées aux règles nationales de passation de marchés publics, analogues aux certifications de construction écologique, créant des incitations de marché pour concevoir et déployer une IA sûre ; et un droit de réparation, garantissant que les décisions prises via des systèmes d'IA ont un acteur responsable et une voie de recours . Il a également noté que les recommandations de l'UNESCO sur l'éthique de l'intelligence artificielle excluent déjà explicitement l'utilisation de l'IA pour la notation sociale et la surveillance de masse .
La représentante de l'Uruguay, Alejandra De Bellis Bonilla, a mis en avant le Partenariat mondial pour les droits de l'homme comme une plateforme multipartite large reliant les efforts sur les impacts transversaux de l'IA, et a appelé à des améliorations en matière de responsabilité, de cadres normatifs, de durabilité et de financement, avec une approche tenant compte du genre dans la conception et le déploiement de l'IA .
Franco Giandana Gigena d'AccessNow a appelé à des normes juridiques contraignantes centrées sur les droits de l'homme et à des mécanismes de gouvernance mondiale pour réguler les technologies de surveillance numérique et l'IA, en s'attaquant aux effets dissuasifs sur les manifestants, les journalistes et les défenseurs des droits de l'homme . Il a appelé à un arrêt du développement et de l'utilisation des outils d'IA facilitant les violations du droit international humanitaire et du droit des droits de l'homme, en particulier dans les contextes de conflit . Il a soutenu que les populations du monde entier n'ont pas seulement besoin d'accéder à l'IA, mais surtout de prendre le contrôle de leur existence .
Rafał Kownacki du ministère polonais des Affaires numériques a soutenu que lorsque la société décide de ce qu'un algorithme peut faire à un être humain, elle décide de ce qu'elle croit qu'une personne vaut . Il a invoqué l'expérience historique de la Pologne pour soutenir que certains choix ne doivent jamais être faits par une machine seule, et que quelle que soit la capacité des systèmes d'IA, une personne doit garder le dernier mot afin de comprendre la décision, la contester et, là où cela importe le plus, éteindre les systèmes . Il a salué la Convention-cadre du Conseil de l'Europe sur l'IA comme le premier traité contraignant plaçant l'IA dans l'ordre des droits de l'homme, de la démocratie et de l'état de droit .
Isabella Henriques de l'Instituto Alana, s'exprimant au nom de plus de 120 signataires d'une déclaration commune de la société civile sur les droits des enfants lors du dialogue sur l'IA, a soutenu que les enfants sont parmi les premiers et les plus fréquents utilisateurs des nouvelles technologies, mais restent largement absents des stratégies nationales d'IA et des cadres de gouvernance . Elle a souligné que les droits, la sécurité et le bien-être des enfants doivent être intégrés dans les systèmes d'IA dès le départ, et non ajoutés après que le préjudice s'est déjà produit, et que la responsabilité doit incomber à ceux qui construisent et profitent de la technologie .
João Brant du Brésil a décrit le Statut numérique pour les enfants et les adolescents du pays, qui exige des plateformes qu'elles adoptent des mesures de protection de l'enfance dès la phase de conception, limite les fonctionnalités pouvant conduire à une utilisation excessive telles que le défilement infini, et interdit la publicité ciblée basée sur les données personnelles des enfants . Il a également décrit un décret interdisant la création d'images intimes synthétiques basées sur de vraies personnes, établissant des responsabilités proactives pour les plateformes et les entreprises d'IA . Il a appelé à ce que l'intégrité de l'information soit comprise dans sa dimension collective ou sociale comme faisant partie du droit d'accès à une information exacte et fiable, et a soulevé la préoccupation concernant l'impact de l'IA sur la viabilité économique du journalisme .
Anna Osterling du Global Forum for Media Development a soutenu, citant Courtney Raj du Centre for Media and Digital Governance d'OpenMarkets, que le journalisme est une espèce clé de voûte de l'écosystème de l'information, qui stabilise la confiance, ancre la vérification, structure la responsabilité et permet à d'autres institutions de fonctionner, et que sa disparition entraîneraît l'effondrement de l'écosystème de l'information plutôt que son adaptation . Elle a noté que les systèmes d'IA sont entraînés sur des contenus journalistiques récupérés sans consentement, compensation ou crédit, et a appelé à une infrastructure numérique publique, à des politiques industrielles soutenant l'IA d'intérêt public, et à une gouvernance de l'IA exigeant que les droits de l'homme soient intégrés tout au long du cycle de vie complet de tous les systèmes d'IA .
Jihoon Cha de la République de Corée a décrit la loi fondamentale sur l'IA du pays, qui exige des opérateurs de systèmes d'IA à fort impact qu'ils évaluent les impacts potentiels sur les droits fondamentaux, et a évoqué la vision de la Corée d'établir le Global AI Hub, avec neuf organisations participantes dans le domaine de l'IA et des domaines connexes, pour renforcer les capacités mondiales en matière d'IA . Il a soutenu que l'accès à l'IA devrait être traité non pas comme un privilège à mériter, mais comme un droit fondamental à exercer .
Pria Chetty de Research ICT Africa a proposé un cadre « Just AI » (IA juste), soutenant que les modèles de gouvernance dominants ancrés dans une IA éthique ou responsable restent structurellement inadéquats parce qu'ils sont largement autorégulés, pilotés par des acteurs dominants, calibrés pour les pays à revenus élevés et ne prennent pas en compte la souveraineté ou le contrôle de sa propre existence . Elle a appelé à une reconnaissance mondiale que la gouvernance de l'IA est inséparable de la gouvernance des données, et à la démocratisation des ressources et des capacités d'IA afin que les nations de la majorité mondiale puissent passer de consommateurs passifs à co-créateurs d'IA .
Jérôme Bellion-Jourdan de l'Institute for Global Negotiation, également vice-président du comité directeur de l'AI for Good Impact Initiative, a soutenu que si un large accord existe sur la nécessité d'une meilleure gouvernance, la question est de savoir comment y parvenir. Il a proposé que les outils et techniques de la négociation multilatérale pourraient aider à naviguer dans les jeux de pouvoir et les asymétries de pouvoir qui entravent les progrès vers une gouvernance mondiale de l'IA .
Mark Cassayre de l'IDLO, la seule organisation intergouvernementale mondiale exclusivement consacrée à la promotion de l'état de droit, a recommandé que les droits de l'homme et l'état de droit doivent impliquer le développement et le déploiement des technologies numériques dans le secteur de la justice, que des cadres juridiques et réglementaires adaptés doivent accompagner l'innovation, et que l'investissement dans les capacités institutionnelles, notamment la culture de l'IA parmi les professionnels du droit et de la justice, est essentiel .
Rebecca Rektimbo, coordinatrice de projets techniques de connectivité pour LOCNET, s'exprimant au nom de Raman Jit Singh Chima, directeur mondial du programme de l'Association for Progressive Communications, a soutenu qu'avant que les communautés puissent contribuer des données, construire des solutions d'IA locales, influencer les politiques ou bénéficier de l'innovation, elles ont besoin d'une connectivité significative, abordable, fiable et localement pertinente . Elle a soutenu que la connectivité centrée sur les communautés rapproche le pouvoir des communautés et permet aux femmes, aux peuples autochtones, aux communautés rurales et aux locuteurs de langues sous-représentées de devenir des créateurs, des innovateurs, des chercheurs et des décideurs plutôt que de simples consommateurs de technologie . Elle a conclu par une formulation qui a résonné tout au long de la session : les communautés ne sont pas le dernier kilomètre de l'IA - elles en sont le premier kilomètre .
Esther Eghobamien-Mshelia du Comité CEDAW a soutenu qu'il ne peut y avoir de gouvernance de l'IA véritablement fondée sur les droits de l'homme sans la pleine mise en œuvre de la CEDAW, qui exige des États non seulement d'interdire la discrimination, mais d'atteindre l'égalité substantielle en s'attaquant aux obstacles structurels et réglementaires, aux stéréotypes et aux rapports de pouvoir inégaux . Elle a cité la Recommandation générale n° 40 de la CEDAW sur la participation pleine et égale des femmes à la vie politique et publique comme un outil nous rappelant que les femmes doivent participer pleinement et à égalité à la conception, à la gouvernance et à la supervision des systèmes d'IA . Elle a appelé à des indicateurs tenant compte du genre, à un suivi et à une surveillance pour démontrer si les femmes participent et bénéficient à égalité de la transformation numérique et sont protégées contre des préjudices tels que la discrimination algorithmique et la violence de genre facilitée par la technologie .
Elizabeth Tan du HCR a souligné que pour les personnes déplacées de force et les apatrides, les obstacles à la contestation des décisions assistées par l'IA sont particulièrement élevés en raison des lacunes documentaires, des barrières linguistiques, des limitations d'accès numérique et de la crainte d'approcher les autorités . Elle a cité des exemples concrets de Libye, où des contenus générés par l'IA ont incité à l'hostilité et aux abus envers les réfugiés, et de la communauté rohingya, qui continue de faire face à des discours déshumanisants en ligne, même en exil . Elle a appelé à une diligence raisonnable en matière de droits de l'homme tout au long du cycle de vie de l'IA, à des tests de biais, à des explications claires sur la façon dont les décisions sont prises, et à des moyens accessibles de se plaindre ou de demander une correction .
Sopio Kiladze du Comité des droits de l'enfant a décrit la déclaration commune des Nations Unies sur l'IA et les droits de l'enfant, co-dirigée par l'UIT, le CRC et l'UNICEF, co-signée par 13 agences des Nations Unies et plus de 60 organisations, et élaborée avec la contribution d'enfants des cinq régions de l'ONU . Elle a soutenu que l'histoire ne jugera pas la société à l'aune de l'intelligence de son IA, mais à celle de sa capacité à avoir utilisé ce moment extraordinaire pour protéger ceux qui ont la plus petite voix et le plus grand enjeu dans l'avenir .
Shumaila Hussaini Shahani du Tech Global Institute a proposé cinq engagements concrets : les affirmations de sécurité doivent être accompagnées des conditions dans lesquelles les systèmes ont été testés et des taux d'échec ventilés par langue, genre, handicap et région ; une décennie d'engagements volontaires n'a pas produit de résultats et des cadres de responsabilité publique assortis de responsabilité des entreprises sont nécessaires ; une capacité financée publiquement et hébergée régionalement pour évaluer les systèmes d'IA avant le déploiement est requise ; la transparence et la supervision doivent s'étendre à la gestion algorithmique et aux travailleurs des données ; et les connaissances autochtones et traditionnelles doivent être protégées par une gestion des données dirigée par les communautés .
#
Remarques de clôture et thèmes transversaux
Dans ses remarques de clôture, Linda Bonyo a soulevé deux problématiques : premièrement, il faut déterminer qui va financer les droits de l'homme à l'ère de l'IA. Elle a expliqué que les ressources nécessaires pour garantir que les droits de l'homme fonctionnent idéalement dans ce contexte doivent être trouvées ; et deuxièmement, il faut une ouverture algorithmique autour des processus de visa, notant que 51 % des conversations sur la gouvernance de l'IA se déroulent à Genève et que le reste du monde en est effectivement exclu parce que les gens ne peuvent pas obtenir de visas, un processus lui-même façonné par des algorithmes opaques . Elle a illustré son propos en expliquant que Freedom Wangi, qui était censé participer à cette séance, avait été incapable d'obtenir un visa et était donc absent .
Le ministre López Águeda a conclu en reconnaissant que le dialogue ne porte pas seulement sur la technologie, mais sur la démocratie, les droits de l'homme, la vie privée, l'énergie et la paix dans le monde . Il a déclaré clairement que la société est en retard pour relever ces défis, mais a affirmé la direction à suivre : construire une IA humaniste, défendre la capacité humaine à contrôler son existence et utiliser l'IA pour être meilleurs .
#
Évaluation globale
La session a révélé un degré élevé de consensus parmi un éventail remarquablement diversifié de participants (des ministres gouvernementaux, des responsables de l'ONU, des représentants de la société civile, des universitaires, des acteurs du secteur privé et des représentants d'organisations internationales) sur les principes fondateurs de la gouvernance de l'IA fondée sur les droits de l'homme. Tout au long des discussions de la session, les domaines de convergence les plus forts étaient que la gouvernance de l'IA doit être ancrée dans le droit international contraignant des droits de l'homme plutôt que dans une éthique volontaire ; que la réglementation et l'innovation sont complémentaires plutôt qu'en tension ; que la supervision humaine significative doit être substantielle et non nominale ; que la transparence est une exigence fondamentale dans toutes les dimensions de l'IA ; que les enfants nécessitent une protection spéciale, la responsabilité incombant aux développeurs et aux déployeurs ; que l'IA amplifie les inégalités existantes et nécessite des réponses de gouvernance proactives ; que l'IA agentique crée des défis de responsabilité sans précédent ; et que les communautés concernées doivent être véritablement incluses dans les processus de gouvernance .
Cependant, le consensus sur les principes n'était pas assorti d'un accord équivalent sur les mécanismes d'application, le financement ou l'architecture institutionnelle spécifique nécessaires pour traduire les principes en pratique. Les intervenants du Sud global ont constamment souligné que le fossé entre principe et pratique est lui-même une inégalité structurelle, la diligence raisonnable significative étant appliquée principalement dans les juridictions à revenus élevés . Les résultats du sondage de la session ont montré qu'une grande partie des participants s'inquiétait de l'insuffisance des mesures de gouvernance en place , et que la responsabilité, l'état de droit et l'impact de l'IA sur les enfants étaient les principales préoccupations . Ces résultats ont confirmé que les participants eux-mêmes reconnaissent le fossé entre le consensus normatif atteint et la réalité de la mise en œuvre. Le défi de combler ce fossé est apparu comme la tâche déterminante à venir.
Le système des Nations Unies doit utiliser le droit international des droits de l'homme comme boussole contraignante pour la gouvernance de l'IA, le service consultatif du HCDH aidant les États à gouverner l'IA conformément à leurs responsabilités en matière de droits de l'homme - le cadre des droits de l'homme des Nations Unies comme boussole
Arg. 1Cet argument a déjà été repris ci-dessus dans les entrées de Volker Turk.
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour relever les défis de nature mondiale que pose la gouvernance de l'IA
La gouvernance de l'IA doit être traitée comme une question fondamentale de droits humains, et non comme une simple question technique, le droit international des droits de l'homme fournissant un cadre juridique contraignant - Les droits humains comme cadre contraignant
Arg. 1Bahous soutient que, sans réglementation, l'IA devient non seulement un miroir des inégalités sociétales existantes, mais aussi un puissant mécanisme d'amplification de la discrimination, de l'exclusion et de la violence à l'égard des femmes et des filles. Elle insiste sur le fait que la gouvernance de l'IA ne peut pas être traitée uniquement comme une question technique et qu'elle est fondamentalement une question de droits humains.
Bahous a déclaré que, sans réglementation, l'IA devient non seulement un miroir des inégalités qui existent déjà dans nos sociétés, mais aussi un puissant mécanisme d'amplification de la discrimination, de l'exclusion et de la violence à l'égard des femmes et des filles . Elle a fait référence aux cadres du droit international des droits de l'homme, notamment la Déclaration universelle des droits de l'homme, le Pacte international relatif aux droits civils et politiques, et la CEDAW, comme fournissant un cadre global de protection des droits .
on: L'IA amplifie et aggrave les inégalités existantes, en particulier pour les femmes, les filles, le Sud global et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
44 % des systèmes d'IA évalués présentent des biais de genre, et l'IA reproduit et amplifie des stéréotypes néfastes parce que les données d'entraînement reflètent les biais existants - L'IA amplifie les biais de genre
Arg. 2Bahous présente des preuves que les systèmes d'IA reproduisent et amplifient des stéréotypes de genre néfastes parce qu'ils sont entraînés sur des données qui reflètent déjà les biais existants. Il ne s'agit pas d'un problème marginal, mais d'un problème systémique affectant près de la moitié de tous les systèmes d'IA évalués.
Bahous a cité des données montrant que 44 % des systèmes d'IA évalués présentent des biais de genre , et que les systèmes d'IA reproduisent et amplifient des stéréotypes néfastes parce qu'ils sont entraînés sur des données qui reflètent déjà les biais existants .
on: L'IA amplifie et aggrave les inégalités existantes, en particulier pour les femmes, les filles, le Sud global et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
Jusqu'à 99 % des deepfakes et des images sexuelles manipulées en ligne ciblent des femmes, et 41 % des femmes s'autocensurent sur les réseaux sociaux pour éviter les abus - Deepfakes et autocensure
Arg. 3Bahous présente des statistiques alarmantes sur la dimension genrée des préjudices facilités par l'IA, notamment les deepfakes et les images sexuelles manipulées. Elle relie ce phénomène à un effet dissuasif plus large sur la participation des femmes à la vie publique et aux processus démocratiques.
Des recherches d'ONU Femmes ont révélé que près d'une femme sur quatre parmi les défenseures des droits humains, les militantes et les journalistes interrogées avait subi des violences en ligne assistées par l'IA, et que 6 % avaient été victimes de deepfakes ou d'images numériquement manipulées . Des recherches montrent que jusqu'à 99 % des deepfakes et des images sexuelles manipulées en ligne ciblent des femmes , et que 41 % de l'ensemble des femmes interrogées ont déclaré s'autocensurer sur les réseaux sociaux pour éviter les abus .
Les femmes sont sous-représentées dans le développement de l'IA, ne constituant que 30 % de la main-d'œuvre mondiale dans ce secteur, et l'égalité de genre reste largement invisible dans les cadres de gouvernance de l'IA - L'exclusion des femmes de la gouvernance de l'IA
Arg. 4Bahous soutient que la responsabilité en matière de gouvernance de l'IA commence par quatre questions : qui développe l'IA, qui en bénéficie, qui en supporte les risques, et qui a voix au chapitre. Les données révèlent que les femmes sont systématiquement exclues de ces quatre dimensions.
Bahous a indiqué que les femmes ne représentent que 30 % de la main-d'œuvre mondiale dans le secteur de l'IA , et que 88 % des principaux chercheurs en IA sont des hommes, selon le rapport du groupe scientifique indépendant . Elle a également noté que, sur 138 pays évalués, seuls 24 font référence au genre dans leurs stratégies nationales d'IA, et que seulement 18 incluent des dispositions substantielles tenant compte du genre .
Les évaluations d'impact sur le genre et les droits de l'enfant doivent être obligatoires, réalisées avant le déploiement avec la participation des communautés concernées - Évaluations d'impact de genre obligatoires
Arg. 5Bahous appelle à des évaluations d'impact sur les droits humains obligatoires avant et après le déploiement de l'IA, l'égalité de genre devant être traitée comme non négociable plutôt qu'optionnelle. Elle souligne également que la responsabilité exige une participation significative des femmes, des filles et des autres communautés concernées.
Bahous a appelé à des évaluations obligatoires de l'impact sur les droits humains avant et après le déploiement, avec l'égalité des genres traitée comme non négociable et non comme optionnelle , et a déclaré que les femmes et les filles, les technologues féministes, les communautés autochtones, les organisations de travailleurs, les défenseurs des droits des personnes handicapées et la société civile doivent être impliqués et habilités de manière significative .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et des droits à un recours en temps opportun
Les femmes et les filles, les technologues féministes, les communautés autochtones et la société civile doivent être véritablement impliquées et habilitées dans la gouvernance de l'IA - Exigence de participation inclusive
Arg. 6Bahous soutient que la responsabilité dans la gouvernance de l'IA exige une participation authentique de ceux qui sont les plus touchés, notamment les femmes et les filles, les technologues féministes, les communautés autochtones, les organisations de travailleurs, les défenseurs des droits des personnes handicapées et la société civile. Sans cela, les cadres de gouvernance ne parviendront pas à répondre aux besoins des personnes les plus exposées.
Bahous a déclaré que la responsabilité exige la participation, et que les femmes et les filles, les technologues féministes, les communautés autochtones, les organisations de travailleurs, les défenseurs des droits des personnes handicapées et la société civile doivent être impliqués et habilités de manière significative .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être incluses de manière significative dans les processus de gouvernance de l'IA, et non simplement consultées après que les décisions ont été prises
L'IA est un outil politique, non un bien de consommation, et la gouvernance doit choisir entre les droits numériques ou l'oligarchie - L'IA comme outil politique
Arg. 1López Agueda soutient que le contexte géopolitique révèle que l'IA n'est pas simplement un produit de consommation, mais un outil politique aux implications profondes pour le pouvoir. Il pose le choix de manière tranchée : soit la gouvernance de l'IA défend les droits numériques, soit elle mène à l'oligarchie.
López Agueda a déclaré que le contexte géopolitique actuel nous montre que l'IA n'est pas un bien de consommation mais un outil politique, et qu'aujourd'hui l'IA est puissante et ne dispose que de deux voies : celle des droits numériques ou celle menant vers une oligarchie .
Sans une gouvernance inclusive, le Sud global ne servira qu'à alimenter les grandes puissances en tant que réservoir de données - Le Sud global comme colonie de données
Arg. 2López Agueda avertit que sans une gouvernance mondiale inclusive de l'IA, le Sud global risque d'être réduit à n'être qu'un simple fournisseur de données et de ressources au profit des nations les plus puissantes. Il appelle à un dialogue mondial démocratique et inclusif sur l'IA.
López Agueda a déclaré que soit nous agissons, soit le Sud global ne servira qu'à alimenter les grandes puissances, car il ne sera qu'un simple fournisseur de données, et que nous devons donc adopter une approche inclusive et mondiale lorsque nous abordons la question de l'IA .
on: L'IA amplifie et accentue les inégalités existantes, en particulier pour les femmes, les filles, le Sud global et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
La diligence raisonnable en matière de droits humains et les évaluations d'impact doivent être obligatoires avant et après le déploiement de l'IA, et non simplement aspirationnelles - Diligence raisonnable obligatoire
Arg. 1Nighat Dad soutient que la diligence raisonnable en matière de droits humains, telle qu'elle est actuellement pratiquée par la plupart des entreprises d'IA, ne répond pas aux exigences des Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l'homme. Elle intervient après que les décisions de co-conception ont été prises, uniquement là où les réglementations l'imposent, et sans la participation des personnes concernées.
Dad a déclaré que la diligence raisonnable en matière de droits humains intervient après que les décisions de co-conception ont été prises, là où les réglementations l'imposent, et sans la participation des personnes réellement concernées, ce qui signifie que ce qui existe dans la plupart des cas n'est pas de la diligence raisonnable, mais de la documentation . Elle a recommandé que les évaluations d'impact sur le genre et les droits de l'enfant soient obligatoires, menées avant le déploiement avec la participation des communautés concernées, et non simplement documentées .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud, doivent être véritablement incluses dans les processus de gouvernance de l'IA, et non simplement consultées après que les décisions ont été prises
on: La question de savoir si le principal lieu d'exercice de la diligence raisonnable en matière de droits humains doit être la phase préalable au déploiement ou s'étendre en continu tout au long du cycle de vie de l'IA
La diligence raisonnable en matière de droits humains est appliquée de manière inégale selon les marchés, créant un régime de droits à deux vitesses déterminé par la géographie - Inégalité géographique dans la diligence raisonnable
Arg. 2Dad soutient que les entreprises mènent des évaluations significatives des droits humains principalement là où la loi l'exige, comme dans l'UE, puis déploient les mêmes systèmes dans les pays du Sud sans processus équivalents. Il s'agit d'un choix structurel, et non d'un manque de capacité, qui crée un régime de droits à deux vitesses.
Dad a déclaré que les entreprises mènent des évaluations significatives là où la loi l'exige, principalement dans l'UE, puis déploient le même système dans les pays du Sud sans processus équivalent, et a qualifié cela de choix structurel, et non de manque de capacité . Elle a noté que la profondeur d'une évaluation des risques dépend non pas du risque encouru, mais de la juridiction dans laquelle on se trouve .
on: La question de savoir si l'inégalité géographique dans la diligence raisonnable en matière de droits humains résulte d'un choix structurel des entreprises ou d'un manque de capacité
Les violences basées sur le genre facilitées par la technologie ne peuvent être traitées comme un problème de sécurité de niche ; tout cadre de diligence raisonnable qui n'y répond pas exclut de facto la moitié de la population de sa protection - Les VBGFT comme problème systémique
Arg. 3Dad soutient que lorsque les femmes se retirent des espaces numériques en raison de violences basées sur le genre facilitées par la technologie, il ne s'agit pas seulement d'un préjudice individuel, mais d'un préjudice collectif pour le discours public et la participation démocratique. Tout cadre de diligence raisonnable qui ne traite pas explicitement cette question exclut la moitié de la population de sa protection.
L'organisation de Dad, la Digital Rights Foundation, a documenté plus de 23 000 cas de violences facilitées par la technologie sur 10 ans, touchant de manière disproportionnée les femmes, les filles et les jeunes, notamment des images synthétiques non consensuelles, une modération automatisée défaillante en ourdou, en hindi et en bengali, ainsi que des systèmes de recommandation qui amplifient le harcèlement sexiste . Elle a déclaré que lorsque les femmes se retirent des espaces numériques, cela constitue un préjudice collectif pour le discours public et la participation démocratique .
on: L'IA amplifie et aggrave les inégalités existantes, en particulier pour les femmes, les filles, les pays du Sud et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
Les évaluations d'impact sur le genre et les droits de l'enfant doivent être obligatoires, menées avant le déploiement avec la participation des communautés concernées - Évaluations d'impact sur le genre obligatoires
Arg. 4Dad formule trois recommandations concrètes : des évaluations d'impact obligatoires sur le genre et les droits de l'enfant avant le déploiement, avec la participation des communautés concernées ; des obligations uniformes de diligence raisonnable en matière de droits humains sur tous les marchés ; et des évaluations répétées chaque fois que les capacités de l'IA évoluent de manière significative, notamment en cas d'augmentation des fonctions agentiques.
Dad a recommandé que les évaluations d'impact sur le genre et les droits de l'enfant soient obligatoires, menées avant le déploiement avec la participation des communautés concernées, et non simplement documentées , et que les obligations de diligence raisonnable en matière de droits humains s'appliquent de manière uniforme sur tous les marchés où un système est déployé, soulignant qu'une évaluation des risques couvrant Bruxelles mais pas le Pakistan, le Kenya ou le Brésil ne constitue pas une diligence raisonnable .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et le droit à des recours en temps opportun.
Les organisations de la société civile dans les pays du Sud sont des capteurs précoces des préjudices liés à l'IA, mais restent sous-financées et précaires, ce qui nécessite des ressources et une connexion aux processus décisionnels - Financement des données probantes de la société civile
Arg. 5Dad soutient que le problème des preuves dans la gouvernance de l'IA est fondamentalement un problème de ressources. Les organisations de la société civile dans les pays du Sud sont les premières à détecter les préjudices liés à l'IA, mais leur documentation est non financée, précaire et traitée comme une anecdote plutôt que comme une preuve.
Dad a souligné que son organisation avait documenté la production d'images intimes synthétiques ciblant les femmes des années avant que ce phénomène ne s'invite dans les discussions politiques mondiales, mais que cette documentation est non financée, précaire et traitée comme une anecdote plutôt que comme une preuve . Elle a appelé à ce que ce système d'alerte précoce existant soit doté de ressources et connecté aux processus décisionnels, y compris au panel scientifique .
on: Le rôle approprié des preuves dans l'orientation des mesures de gouvernance de l'IA : faut-il agir dès maintenant sur la base des preuves existantes de préjudices ou attendre des données longitudinales plus rigoureuses ?
Les cadres de gouvernance de l'IA doivent aller au-delà des modèles autorégulateurs fondés sur l'éthique pour adopter des cadres normatifs ancrés dans le droit international des droits de l'homme - Au-delà de l'éthique volontaire
Arg. 1Chetty soutient que les modèles de gouvernance dominants, ancrés dans l'IA éthique ou responsable, demeurent structurellement insuffisants, car ils sont en grande partie autorégulateurs, pilotés par des acteurs dominants et calibrés pour les pays à revenus élevés. Elle propose le cadre Just AI comme alternative normative enracinée dans le droit international des droits de l'homme.
Chetty a déclaré que les modèles de gouvernance dominants, fondés sur les notions d'IA éthique ou responsable, restent structurellement insuffisants, dans la mesure où ces cadres sont en grande partie autorégulateurs, pilotés par des acteurs dominants, calibrés pour les pays à revenus élevés et ne tiennent pas compte de la souveraineté ni de l'autonomie . Elle a soutenu que ces cadres approfondissent les inégalités existantes en extrayant de la valeur des individus, des communautés et des nations sans contrepartie, contribution ni contrôle .
on: L'IA amplifie et accentue les inégalités existantes, en particulier pour les femmes, les filles, le Sud global et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
on: La question de savoir si la gouvernance de l'IA doit se concentrer sur des normes contraignantes universelles ou permettre un véritable pluralisme au-delà d'un socle commun de garanties en matière de droits
La séparation entre la gouvernance des données et la gouvernance de l'IA dans les forums internationaux occulte la justice des données fondamentale qui doit guider tous les systèmes d'IA - La justice des données est indissociable de la gouvernance de l'IA
Arg. 2Chetty soutient que la gouvernance de l'IA est indissociable de la gouvernance des données, et que la séparation de ces deux domaines dans les forums internationaux occulte les enjeux fondamentaux de justice des données qui doivent guider tous les systèmes d'IA. La justice des données est essentiellement éclairée par un droit d'accès aux données sous des formes substantielles et procédurales.
Chetty a appelé à établir une compréhension mondialement reconnue selon laquelle la gouvernance de l'IA est indissociable de la gouvernance des données, et a déclaré que la séparation entre la gouvernance des données et la gouvernance de l'IA dans les forums internationaux occulte la justice des données fondamentale qui doit guider tous les systèmes d'IA .
Gouverner l'IA nécessite un nouveau contrat social aux niveaux national et international, et pas seulement une réglementation - Nouveau contrat social
Arg. 1Gutiérrez soutient que l'évolution rapide du paysage du développement de l'IA signifie que la gouvernance ne peut se limiter à la seule réglementation. Ce qu'il faut, c'est l'adoption d'un nouveau contrat social, tant au niveau international qu'au niveau national, qui réponde à la question fondamentale de ce que la technologie fait aux êtres humains.
Gutiérrez a déclaré que nous devrions parler de gouvernance et de l'adoption d'un nouveau contrat social, non seulement dans le contexte international mais aussi dans le contexte national . Il a également souligné la séparation entre légalité et légitimité dans le contexte international, ainsi que l'importance de comprendre l'impact du développement technologique sur les êtres humains, plutôt que de se concentrer uniquement sur ce que les êtres humains peuvent faire avec la technologie .
on: Réglementation contraignante versus cadres de gouvernance plus larges et contrats sociaux pour l'IA
L'état de droit exige la mise en œuvre de cadres juridiques contraignants de manière égale, indépendamment de la richesse, du pouvoir ou de l'influence - Cadres juridiques contraignants
Arg. 1Lampel soutient que l'état de droit exige la mise en œuvre de cadres juridiques contraignants de manière égale, sans égard pour la richesse, le pouvoir ou l'influence, et que la communauté internationale doit commencer à appliquer le droit international des droits de l'homme dès aujourd'hui. Il propose trois actions concrètes : des lignes rouges en matière d'IA, des certifications standardisées liées aux règles de passation des marchés, et un droit à réparation.
Lampel a fait référence à la résolution de l'Assemblée générale des Nations Unies de 2024 sur les systèmes d'IA sûrs, fiables et dignes de confiance pour le développement durable, comme soutenant explicitement le concept de lignes rouges en matière d'IA , et a cité les recommandations de l'UNESCO sur l'éthique de l'IA comme excluant déjà explicitement l'utilisation de l'IA à des fins de notation sociale et de surveillance de masse .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour relever les défis mondiaux liés à la gouvernance de l'IA
on: La question de savoir si la gouvernance de l'IA devrait se concentrer sur des normes universelles contraignantes ou permettre un véritable pluralisme au-delà d'un socle commun de garanties en matière de droits
La gouvernance de l'IA doit intégrer les droits de l'homme tout au long du cycle de vie complet de l'IA, de la conception au déploiement et au suivi - Gouvernance sur l'ensemble du cycle de vie
Arg. 1Cassayre soutient que les droits de l'homme et l'état de droit doivent sous-tendre le développement et le déploiement des technologies numériques, notamment dans le secteur de la justice. Les systèmes d'IA doivent être conçus pour élargir l'accès, répondre aux besoins des personnes et prévenir de nouvelles formes d'exclusion et d'inégalité tout au long de leur cycle de vie.
Cassayre a formulé trois recommandations : les droits de l'homme et l'état de droit doivent sous-tendre le développement et le déploiement des technologies numériques ; des cadres juridiques et réglementaires adaptés doivent accompagner l'innovation ; et des investissements dans les capacités institutionnelles sont nécessaires, notamment pour renforcer l'infrastructure numérique publique au service de la justice et améliorer la culture de l'IA parmi les professionnels du droit et de la justice .
on: La réglementation de l'IA ne freine pas l'innovation ; les normes de sécurité constituent le fondement de la confiance dans la technologie
Les systèmes judiciaires doivent convertir les principes des droits de l'homme en réalité en garantissant la responsabilité lorsque l'IA cause un préjudice, en mettant l'accent sur la transparence, la traçabilité et les recours effectifs - Les systèmes judiciaires en tant que mécanismes de responsabilisation
Arg. 1Arias Arzeno soutient que le véritable défi de la gouvernance de l'IA ne réside pas dans l'adoption de lois ou de principes éthiques, mais dans ce qui se passe lorsqu'une personne estime qu'un système d'IA a violé ses droits fondamentaux. Les systèmes judiciaires sont des institutions essentielles pour traduire les principes en réalité et garantir la responsabilité lorsque l'IA cause un préjudice.
Arias Arzeno a déclaré que la gouvernance n'est plus seulement un concept, mais devient une réalité au moment où une personne considère qu'un système d'IA a violé ses droits fondamentaux et sa vie privée en matière de données . Il a défini quatre priorités pour renforcer les systèmes judiciaires : renforcer les capacités institutionnelles des avocats et des jurés, garantir la transparence et la traçabilité dans l'utilisation de l'IA, assurer une supervision humaine effective, et veiller à ce que toutes les personnes disposent de mécanismes efficaces pour accéder à la justice et obtenir réparation .
on: La gouvernance de l'IA doit être fondée sur le droit international des droits de l'homme en tant que cadre contraignant, et non sur de simples aspirations éthiques
on: La question de savoir si le principal lieu d'exercice du devoir de diligence en matière de droits de l'homme devrait se situer avant le déploiement ou de manière continue tout au long du cycle de vie de l'IA
Aucune institution publique ne peut justifier une décision en affirmant que le système le lui a dicté ; la responsabilité doit incomber aux personnes et aux institutions - Responsabilité institutionnelle humaine
Arg. 2Arias Arzeno soutient que l'utilisation de l'IA dans les tribunaux et les institutions publiques est déjà une réalité, et que le défi consiste à garantir que son utilisation soit transparente, responsable, auditable et compatible avec les droits de l'homme et l'état de droit. Aucune institution ne peut se soustraire à sa responsabilité en attribuant une décision à un système d'IA.
Arias Arzeno a déclaré qu'aucune institution publique ne peut justifier une décision en affirmant que c'est ce que le système lui a indiqué de faire, et que la responsabilité doit incomber aux personnes et aux institutions, la technologie aidant le juge sans jamais le remplacer .
on: La supervision humaine de l'IA doit être réelle et substantielle, et non une simple formalité, avec un être humain identifiable conservant l'autorité de modifier ou d'arrêter les systèmes
L'IA agentique crée le défi de responsabilité juridique le plus important de la décennie, car aucun être humain n'est à l'origine des décisions finales dans les réseaux d'agents autonomes - Lacune de responsabilité de l'IA agentique
Arg. 1El Fallah Seghrouchni soutient que la responsabilité dans les systèmes agentiques constitue le défi juridique le plus important de la décennie, car les réseaux d'agents IA individuellement autonomes produisent des décisions finales sans qu'aucun être humain n'en soit à l'origine. Il est extrêmement difficile de répartir la responsabilité entre les agents ou de remonter la chaîne pour identifier l'origine d'une erreur.
El Fallah Seghrouchni a cité l'exemple de la plateforme Iderati X.0 au Maroc, qui traite 52 millions de transactions administratives par jour, soulignant que lorsqu'un problème survient, il est très difficile d'en identifier la cause exacte . Elle a décrit le défi que représentent les LLMs dotés de 175 à 180 milliards de paramètres et la difficulté d'assurer la responsabilité pour ce qui apparaît dans ces systèmes .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et des droits à un recours en temps utile
on: Le rôle approprié des données probantes dans l'orientation des mesures de gouvernance de l'IA : faut-il agir dès maintenant sur la base des preuves existantes de préjudices ou attendre des données longitudinales plus rigoureuses
Les systèmes d'IA doivent faire l'objet d'une documentation structurée des chaînes d'agents, de la désignation d'un responsable humain identifiable, et d'un droit à un recours en temps utile - Trois obligations de responsabilité
Arg. 2El Fallah Seghrouchni propose trois obligations concrètes en matière de responsabilité dans les systèmes d'IA agentiques : une documentation structurée des chaînes d'agents précisant qui fait quoi et quand ; la désignation d'un être humain identifiable responsable de toutes les questions liées aux droits ; et un droit à un recours en temps utile, en adéquation avec la rapidité des systèmes d'IA.
El Fallah Seghrouchni a proposé que lorsque des agents sont déployés dans des services publics, il doit exister une documentation structurée des chaînes d'agents, un être humain identifiable responsable de toutes les questions liées aux droits, et un droit à un recours en temps utile en adéquation avec la rapidité des systèmes d'IA . Elle a conclu que le fonctionnement de l'algorithme ne doit jamais être autonome en ce qui concerne les droits et la loi .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et des droits à un recours en temps utile
on: Si le principal moment d'exercice du devoir de diligence en matière de droits de l'homme doit se situer avant le déploiement ou de manière continue tout au long du cycle de vie de l'IA
La transparence sur l'empreinte environnementale de l'IA est un droit humain fondamental, permettant aux utilisateurs de faire des choix éclairés entre les outils - La transparence environnementale comme droit humain
Arg. 1Luccioni soutient que la transparence sur la consommation énergétique et les coûts environnementaux de l'IA est un droit humain fondamental, car elle permet aux utilisateurs de faire des choix éclairés entre les outils. Sans cette information, tout choix réel et toute responsabilisation sont impossibles.
Luccioni a déclaré que la transparence est un droit humain fondamental que les utilisateurs devraient obtenir lorsqu'ils utilisent l'IA, en demandant quel en est le coût, d'où proviennent les données et d'où vient l'énergie, afin que les utilisateurs puissent choisir entre l'outil A ou l'outil B . Elle a noté que même des organisations comme l'IEA peinent à obtenir cette information, car les pays membres eux-mêmes ne la détiennent pas .
on: La transparence est une exigence fondamentale dans toutes les dimensions de la gouvernance de l'IA, notamment en ce qui concerne l'utilisation des données, l'impact environnemental et les processus de prise de décision
L'IA agentique amplifie les degrés de séparation entre les utilisateurs et la technologie sous-jacente, rendant plus difficile l'identification de l'origine des défaillances - Opacité de l'IA agentique
Arg. 2Luccioni soutient que l'IA agentique aggrave une situation déjà difficile en matière de transparence et de responsabilité, en ajoutant davantage de couches entre les utilisateurs et la technologie sous-jacente. À mesure que les systèmes d'IA deviennent plus agentiques, il devient de plus en plus difficile d'identifier l'origine des défaillances.
Luccioni a décrit la progression depuis les modèles d'IA pouvant être interrogés directement, vers des systèmes d'IA dotés de filtres et de composants supplémentaires, jusqu'aux agents d'IA présentant des degrés de séparation encore plus importants, soulignant que lorsqu'une défaillance survient, on ne sait pas d'où elle provient . Elle a appelé à imposer des garde-fous et des normes de sécurité et de durabilité à chaque composant du système, quel que soit leur nombre .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et des droits à un recours en temps opportun
on: La question de savoir si le principal lieu d'exercice du devoir de diligence en matière de droits de l'homme devrait se situer avant le déploiement ou de manière continue tout au long du cycle de vie de l'IA
Les centres de données rendent les impacts négatifs de l'IA très locaux en termes d'eau, d'énergie, d'émissions et de santé, affectant de manière disproportionnée les populations les plus marginalisées - Impacts environnementaux locaux
Arg. 3Luccioni soutient que si les bénéfices de l'IA peuvent techniquement être mondiaux, les impacts environnementaux négatifs sont très locaux, concentrés autour des centres de données en termes d'eau, d'énergie, d'émissions et de santé. Ces impacts locaux affectent de manière disproportionnée les populations les plus marginalisées.
Luccioni a déclaré que si les bénéfices de l'IA peuvent techniquement être mondiaux, les impacts négatifs en termes d'eau, d'énergie, d'émissions et de santé sont très locaux et touchent les populations les plus marginalisées . Elle a noté que les centres de données constituent un moyen concret d'ancrer le débat sur les implications de l'IA en matière de droits de l'homme .
La transparence sur la consommation énergétique de l'IA est un droit humain fondamental, pourtant même les organisations internationales peinent à obtenir cette information de leurs pays membres - Déficit de transparence énergétique
Arg. 4Luccioni met en évidence un déficit de transparence significatif concernant la consommation énergétique de l'IA, notant que même de grandes organisations internationales comme l'IEA ne parviennent pas à obtenir des données fiables de leurs pays membres. Ce manque de transparence empêche toute responsabilisation réelle et toute prise de décision éclairée.
Luccioni a déclaré que des organisations comme l'IEA, avec laquelle elle a collaboré, peinent à obtenir des informations sur la consommation énergétique de l'IA, car même les pays membres ne disposent pas de ces données . Elle a décrit la transparence comme un combat qu'elle mène depuis plusieurs années en tant que droit humain fondamental .
Les étiquettes d'efficacité énergétique pour les modèles d'IA, comme l'AI Energy Score Project, constituent une première étape vers une prise de décision éclairée et une réglementation future - L'étiquetage énergétique comme première étape
Arg. 5Luccioni propose des étiquettes d'efficacité énergétique pour les modèles d'IA comme première étape concrète vers la transparence et la responsabilité concernant l'impact environnemental de l'IA. Plutôt que de restreindre immédiatement le déploiement, elle préconise de d'abord quantifier et mesurer les impacts afin que les personnes puissent prendre des décisions éclairées.
Luccioni a décrit le projet AI Energy Score, qui crée des étiquettes d'efficacité énergétique pour les modèles d'IA analogues aux étiquettes énergétiques des appareils électroménagers, comme une étape vers une prise de décision éclairée . Elle a soutenu que la quantification et la mesure des impacts constituent le préalable à de nombreuses autres actions qui peuvent et doivent être entreprises en matière d'IA .
Le registre des algorithmes et les évaluations d'impact sur les droits fondamentaux utilisés aux Pays-Bas illustrent des outils concrets permettant de traduire les exigences légales en responsabilité - Outils pratiques de responsabilisation
Arg. 1Aerdts présente les outils pratiques des Pays-Bas en matière de responsabilité de l'IA comme des exemples concrets de la manière dont les exigences légales peuvent être traduites en lignes directrices opérationnelles. Ceux-ci comprennent un cadre algorithmique, une évaluation d'impact sur les droits fondamentaux et les algorithmes, ainsi qu'un registre des algorithmes.
Aerdts a décrit le cadre algorithmique des Pays-Bas qui traduit les exigences légales en lignes directrices pratiques pour les organisations publiques, notamment un manuel sur l'équité, des instruments de test des biais et des évaluations du profilage à risque . Elle a également mentionné l'évaluation d'impact sur les droits fondamentaux et les algorithmes, qui aide à identifier les risques liés aux droits humains dans les systèmes d'IA , ainsi que le registre des algorithmes qui répertorie l'ensemble des algorithmes utilisés par le gouvernement néerlandais dans un souci de transparence .
on: La transparence est une exigence fondamentale dans toutes les dimensions de la gouvernance de l'IA, notamment en ce qui concerne l'utilisation des données, l'impact environnemental et les processus décisionnels
Lors de l'élaboration de politiques destinées aux enfants et aux jeunes, ceux-ci doivent être véritablement associés au processus décisionnel aux côtés des parents et des éducateurs, et ne pas se retrouver seuls face à des problèmes trop importants pour les parents mais trop mineurs pour la police - Inclusion authentique des jeunes dans les politiques
Arg. 2Aerdts soutient que lors de l'élaboration de politiques destinées aux enfants et aux jeunes, ceux-ci doivent être véritablement associés au processus décisionnel. Elle souligne un manque criant : les jeunes sont confrontés à des problèmes trop importants pour leurs éducateurs ou leurs parents, mais jugés trop mineurs pour la police, les laissant sans soutien concret.
Aerdts a indiqué que les Pays-Bas s'adressent aux panels de jeunes de l'UNICEF et souhaitent également associer les parents, tout en veillant à ce que les plateformes assument leurs responsabilités . Elle a rapporté que lors d'échanges avec des jeunes, ceux-ci ont mentionné que certains problèmes auxquels ils sont confrontés sont trop importants pour leurs éducateurs ou leurs parents, mais semblent trop mineurs pour la police, les laissant à la recherche d'un moyen concret d'y remédier .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être véritablement associées aux processus de gouvernance de l'IA, et non simplement consultées une fois les décisions prises
La liberté de pensée, longtemps englobée dans la liberté d'expression, doit être réinterprétée dans le contexte où l'IA menace l'autonomie cognitive par le micro-ciblage et la manipulation - L'autonomie cognitive en danger
Arg. 1Cet argument a déjà été repris ci-dessus dans les entrées de Jhalak M. Kakkar.
Il existe un défi méthodologique dans l'étude des enfants en tant que catégorie protégée, ce qui explique en partie le manque de données probantes sur l'impact de l'IA sur les enfants et nécessite une approche prudente - Obstacles méthodologiques à la recherche sur les enfants
Arg. 1Cet argument a été avancé par Alvitta Ottley, et non par Sonia Livingstone. Veuillez consulter la fiche d'Alvitta Ottley pour cet argument.
on: La question de savoir si la gouvernance de l'IA devrait privilégier la protection des enfants en restreignant leur accès ou en intégrant des garanties respectueuses des droits dans les systèmes
La loi proposée par le Canada exigerait que les chatbots d'IA soient déclarés sûrs avant d'être accessibles aux enfants, avec un commissaire au numérique chargé d'assurer la conformité - Législation sur la preuve de sécurité
Arg. 1Lametti décrit l'approche législative proposée par le Canada en matière de sécurité de l'IA pour les enfants, qui exigerait que les chatbots d'IA soient déclarés sûrs avant de pouvoir être accessibles aux enfants. Un commissaire au numérique serait créé pour veiller au respect de cette exigence.
Lametti a présenté la nouvelle politique du Canada, L'IA pour tous, qui vise à garantir le droit à la vie privée et la sécurité dans l'utilisation de l'IA, ainsi qu'un nouveau projet de loi sur les enfants qui interdirait l'accès de toute plateforme sociale aux moins de 16 ans jusqu'à ce qu'elle soit déclarée sûre . Il a précisé que les chatbots d'IA devraient également être déclarés sûrs avant d'être accessibles aux enfants, avec un commissaire au numérique chargé d'assurer la conformité .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité incombant aux développeurs et aux déployeurs plutôt qu'aux enfants ou aux familles
on: La question de savoir si la gouvernance de l'IA devrait privilégier la protection des enfants en restreignant leur accès ou en intégrant dans les systèmes des garanties respectueuses de leurs droits
Les droits des enfants doivent être au cœur de la gouvernance de l'IA en tant que considération transversale, avec une sécurité intégrée dans les systèmes dès le départ plutôt qu'ajoutée après qu'un préjudice se soit produit - Les droits des enfants comme question transversale
Arg. 1Henriques plaide au nom de plus de 120 signataires d'une déclaration commune que les droits des enfants doivent être au cœur de la gouvernance de l'IA en tant que considération transversale. Les enfants comptent parmi les premiers et les plus fréquents utilisateurs des nouvelles technologies, et pourtant ils restent largement absents des stratégies nationales en matière d'IA et des cadres de gouvernance.
Henriques s'est exprimée au nom de plus de 120 signataires de la Déclaration commune sur les droits des enfants dans le cadre du Dialogue sur l'IA, une campagne mondiale coordonnée par la Five Rights Foundation . Elle a souligné que les enfants comptent parmi les premiers et les plus fréquents utilisateurs des nouvelles technologies, tout en restant largement absents des stratégies nationales en matière d'IA et des cadres de gouvernance .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité reposant sur les développeurs et les déployeurs plutôt que sur les enfants ou les familles
Les enfants ne constituent pas un groupe homogène ; les enfants autochtones, les filles, les enfants handicapés et les enfants d'ascendance africaine subissent des impacts disproportionnés dus aux lacunes de la gouvernance de l'IA - Intersectionnalité des droits de l'enfant
Arg. 2Henriques soutient que les enfants ne doivent pas être traités comme un groupe homogène dans les discussions sur la gouvernance de l'IA. Les enfants autochtones, les filles, les enfants handicapés et les enfants d'ascendance africaine subissent des impacts disproportionnés dus aux lacunes de la gouvernance de l'IA, et leurs intersectionnalités doivent être reconnues.
Henriques a déclaré que les enfants ne constituent pas un groupe homogène et que nous devons reconnaître leurs intersectionnalités, notant que les droits des enfants autochtones, des filles, des enfants handicapés et des enfants d'ascendance africaine sont affectés de manière disproportionnée en raison des lacunes de la gouvernance de l'IA . Elle a mis en avant l'ECA Digital du Brésil comme un cadre de référence pour la protection des droits des enfants dans l'environnement numérique .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité reposant sur les développeurs et les déployeurs plutôt que sur les enfants ou les familles
on: La question de savoir si la gouvernance de l'IA doit privilégier la protection des enfants en restreignant leur accès ou en intégrant des garanties respectueuses des droits dans les systèmes
Les enfants ne devraient interagir avec les systèmes d'IA que s'ils sont avérés sûrs et conçus pour respecter les droits des enfants, la responsabilité incombant à ceux qui construisent et tirent profit de la technologie - Preuve de sécurité avant l'exposition des enfants
Arg. 3Henriques soutient que les enfants ne devraient interagir qu'avec des systèmes d'IA dont la sécurité a été prouvée et qui sont conçus pour respecter les droits des enfants, en tenant compte de leurs perspectives dans les décisions qui les concernent. La responsabilité doit incomber à ceux qui construisent et tirent profit de la technologie, et non aux enfants ou aux parents.
Henriques a déclaré que les enfants ne devraient interagir avec les systèmes d'IA que si ceux-ci sont avérés sûrs et conçus pour respecter les droits des enfants, en tenant compte de leurs perspectives dans les décisions qui les concernent . Elle a souligné que la responsabilité doit incomber à ceux qui construisent et tirent profit de cette technologie .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité reposant sur les développeurs et les déployeurs plutôt que sur les enfants ou les familles
La CEDAW fournit un cadre essentiel obligeant les États à parvenir à une égalité réelle et à s'attaquer aux obstacles structurels dans la gouvernance de l'IA - La CEDAW en tant que cadre de gouvernance de l'IA
Arg. 1Eghobamien-Mshelia soutient que la CEDAW fournit un cadre essentiel pour aborder les réalités genrées de la gouvernance de l'IA. Elle oblige les États non seulement à interdire la discrimination, mais à parvenir à une égalité réelle en s'attaquant aux obstacles structurels et réglementaires, aux stéréotypes et aux rapports de force inégaux.
Eghobamien-Mshelia a déclaré que la CEDAW oblige les États non seulement à interdire la discrimination, mais à parvenir à une égalité réelle en s'attaquant aux obstacles structurels et réglementaires, aux stéréotypes et aux rapports de force inégaux . Elle a souligné que la CEDAW reconnaît également que la discrimination est souvent aggravée par des facteurs tels que la race, le handicap, l'âge, le statut migratoire et la pauvreté, ce qui nécessite des mesures ciblées et proactives pour lutter contre les discriminations intersectionnelles .
on: L'IA amplifie et accentue les inégalités existantes, en particulier pour les femmes, les filles, le Sud mondial et d'autres groupes marginalisés, ce qui nécessite des réponses proactives en matière de gouvernance
Les campagnes de désinformation amplifiées par l'IA et les discours haineux contraignent les femmes et les filles à s'autocensurer, compromettant ainsi leur participation démocratique - Désinformation et exclusion démocratique
Arg. 1Smyth soutient que les campagnes de désinformation amplifiées par l'IA et les discours haineux portent atteinte au droit des femmes et des filles à exercer leur liberté d'expression en les contraignant à s'autocensurer, à fermer leurs comptes numériques ou à se retirer des espaces en ligne. Cela contribue à un effet dissuasif plus large sur leur participation pleine et égale à la société.
Smyth a déclaré que les campagnes de désinformation amplifiées par l'IA et les discours haineux portent atteinte au droit des femmes et des filles à exercer leur liberté d'expression en les contraignant à s'autocensurer, à fermer leurs comptes numériques ou à se retirer de leur participation aux espaces en ligne . Elle a souligné que cela contribue à un effet dissuasif plus large sur leur participation pleine, égale et significative à la société .
on: L'IA amplifie et approfondit les inégalités existantes, en particulier pour les femmes, les filles, les pays du Sud et d'autres groupes marginalisés, nécessitant des réponses proactives en matière de gouvernance
Les outils d'IA utilisés pour la modération de contenu en ligne sans supervision humaine peuvent amplifier la désinformation, affectant de manière disproportionnée les femmes et les filles - La modération automatisée amplifie la désinformation
Arg. 2Smyth soutient que le déploiement de l'IA pour la modération de contenu en ligne sans supervision humaine peut amplifier la désinformation, compromettant ainsi l'intégrité du paysage informationnel. Cela affecte de manière disproportionnée les femmes et les filles.
Smyth a déclaré que le déploiement de l'IA pour la modération de contenu en ligne sans supervision humaine peut amplifier la désinformation, compromettant ainsi l'intégrité du paysage informationnel, et que cela affecte de manière disproportionnée les femmes et les filles .
Le décret brésilien interdisant les images intimes synthétiques basées sur de vraies personnes tierces illustre une action législative concrète contre les violences de genre facilitées par l'IA - Action législative sur les images synthétiques
Arg. 1Brant met en lumière l'action législative du Brésil contre les violences de genre facilitées par l'IA, notamment un décret établissant des responsabilités proactives pour les plateformes et les entreprises d'IA, y compris l'interdiction de créer des images intimes synthétiques basées sur de vraies personnes tierces.
Brant a décrit le statut numérique brésilien pour les enfants et les adolescents en ligne, qui exige des plateformes qu'elles adoptent des mesures de protection de l'enfance dès la phase de conception et interdit la publicité ciblée basée sur les données personnelles des enfants . Il a également décrit un décret publié le mois précédent visant à lutter contre les violences envers les filles et les femmes dans les espaces en ligne, notamment l'interdiction de créer des images intimes synthétiques basées sur de vraies personnes tierces .
L'intégrité de l'information doit être comprise dans sa dimension collective ou sociale, en tant que composante du droit d'accès à une information exacte et fiable, et l'impact de l'IA sur la viabilité économique du journalisme doit être pris en compte - L'intégrité de l'information en tant que droit collectif
Arg. 2Brant plaide pour une conception élargie des droits de l'homme dans le débat sur l'IA, soulignant l'intégrité de l'information comme enjeu central. Il inscrit l'intégrité de l'information dans le cadre de l'Article 19, dans sa dimension collective ou sociale, englobant la nécessité d'un écosystème informationnel fournissant une information cohérente, exacte et fiable.
Brant a appelé à considérer l'intégrité de l'information comme faisant partie de l'Article 19, dans une conception élargie de l'accès à l'information dans sa dimension collective ou sociale, et a affirmé que nous avons besoin d'un écosystème informationnel capable de fournir une information cohérente, exacte et fiable . Il a également souligné que la manière dont l'IA soutient et affecte l'organisation économique et la viabilité du journalisme devrait être une source de préoccupation .
Des normes communes et bien conçues en matière de risques liés à l'IA, intégrant les considérations relatives aux droits de l'homme, sont nécessaires pour garantir le fonctionnement cohérent des instances de diligence raisonnable en matière de droits de l'homme au sein des systèmes multi-agents interconnectés - Nécessité de normes communes sur les risques liés à l'IA
Arg. 1Park soutient que si les entreprises individuelles peuvent définir le risque lié à l'IA et évaluer leurs modèles en conséquence, le problème survient lorsque des systèmes multi-agents provenant de différentes entreprises sont interconnectés, chaque entreprise ayant sa propre définition du risque lié à l'IA. Des normes communes et bien conçues sont nécessaires pour garantir une diligence raisonnable cohérente en matière de droits de l'homme au sein de ces systèmes.
Park a indiqué que le problème se pose lorsque des systèmes multi-agents provenant de différentes entreprises sont interconnectés, celles-ci ayant leur propre définition du risque lié à l'IA, certains agents accordant plus d'importance aux droits de l'homme que d'autres . Il a cité la taxonomie des risques liés à l'IA issue du projet BTEC du HCDH comme un travail important qui doit être développé de manière plus concrète et pratique afin d'établir une base commune avec de nombreuses parties prenantes .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et le droit à un recours en temps opportun
Les enfants d'aujourd'hui sont des natifs de l'IA qui ont besoin d'une éducation et de compétences en pensée critique pour interagir avec l'IA de manière équilibrée, et leurs voix doivent s'intégrer dans les discussions sur la gouvernance - Littératie en IA pour les enfants
Arg. 2Park soutient que les enfants d'aujourd'hui sont des natifs de l'IA qui l'utilisent naturellement dans la recherche, les recommandations et l'apprentissage au quotidien. Il est donc important qu'ils développent des compétences en pensée critique pour interagir avec l'IA de manière équilibrée, et leurs voix devraient s'intégrer dans les discussions sur la gouvernance.
Park a déclaré que les enfants d'aujourd'hui sont des natifs de l'IA qui l'utilisent naturellement dans la recherche, les recommandations et l'apprentissage au quotidien, et qu'il est important qu'ils l'appréhendent avec un esprit critique . Il a suggéré que lorsque les programmes scolaires d'éducation et de discussion sont mis en lien avec des ONG et des comités compétents, les enfants peuvent exprimer la manière dont l'IA les affecte de façon équilibrée, et ces voix peuvent s'intégrer dans les discussions sur la gouvernance .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité incombant aux développeurs et aux déployeurs plutôt qu'aux enfants ou aux familles
on: La question de savoir si la gouvernance de l'IA doit privilégier la protection des enfants en restreignant leur accès ou en intégrant des garanties respectueuses des droits dans les systèmes
Il existe un décalage d'évaluation entre les métriques d'ingénierie telles que la vitesse et la précision, et les questions sociétales relatives à la protection des droits humains et à la responsabilité des institutions - Décalage d'évaluation
Arg. 1Ottley soutient qu'il existe un décalage fondamental entre les questions que les ingénieurs posent sur l'IA (peut-on la rendre plus rapide, plus précise, plus performante ?) et celles que les sociétés posent (les droits humains sont-ils protégés, les institutions sont-elles responsables, la société s'en porte-t-elle mieux ?). Ce sont tout simplement des questions différentes qui conduisent à des évaluations différentes du succès.
Ottley a illustré ce décalage en faisant remarquer qu'un parent ne demande pas si le modèle a obtenu 94 % sur un benchmark récent, mais s'il est utilisable par son enfant et si celui-ci sait quand ne pas lui faire confiance ; de même, un médecin ne demande pas s'il s'agit du dernier modèle en date, mais s'il peut s'y fier lorsque la vie d'un patient est en jeu . Elle a déclaré que les discussions en cours ne portent pas sur la question de savoir si l'IA est plus performante que l'année dernière, mais sur celle de savoir si les droits humains sont protégés, si les institutions restent responsables et si la société s'en porte mieux .
Il existe un manque de données probantes significatif concernant l'impact de l'IA sur la prise de décision des individus, l'apprentissage des enfants, les décisions cliniques et le travail des agents publics, ce qui nécessite des études longitudinales et interdisciplinaires - Manque de données probantes sur l'impact de l'IA
Arg. 2Ottley souligne un manque de données probantes significatif : si les données sur les performances des modèles d'IA sont abondantes, celles portant sur l'impact de l'IA sur la prise de décision des individus, l'apprentissage des enfants, les décisions cliniques ou le travail des agents publics sont très rares. Répondre à ces questions nécessite des études longitudinales et une collaboration interdisciplinaire.
Ottley a déclaré que nous disposons de nombreuses données sur les performances des modèles d'IA, mais de très peu sur la façon dont l'IA affecte la prise de décision des individus, l'efficacité de l'IA pour aider les enseignants à enseigner, son impact sur les décisions cliniques, son aide à l'apprentissage des enfants ou son effet sur le travail des agents publics . Elle a noté que répondre à ces questions nécessite des études longitudinales, des partenariats avec des organisations, des collaborations interdisciplinaires et un travail rigoureux avec des communautés protégées et mal desservies .
on: Le rôle approprié des données probantes dans l'orientation des actions de gouvernance de l'IA : faut-il agir dès maintenant sur la base des données existantes attestant des préjudices, ou attendre des données longitudinales plus rigoureuses ?
La société doit définir ce que représente le succès, et la science doit déterminer comment le mesurer ; de bonnes décisions en situation d'incertitude exigent de rendre les valeurs explicites et les données probantes rigoureuses - La société définit le succès, la science le mesure
Arg. 3Ottley plaide pour une nouvelle façon de concevoir la relation entre la société et la science dans la gouvernance de l'IA. La société doit définir ce que représente le succès, la science doit déterminer comment le mesurer, et ensemble elles doivent construire les données probantes permettant de déterminer si ce succès est effectivement atteint.
Ottley a déclaré que la société doit décider de ce à quoi ressemble le succès et que la science doit déterminer comment le mesurer, et qu'ensemble elles doivent construire les données probantes qui nous indiquent si nous l'atteignons réellement . Elle a conclu que de bonnes décisions en situation d'incertitude ne découlent pas de l'élimination de l'incertitude, mais de la clarification des valeurs, de la rigueur des données probantes et de la compréhension de l'incertitude .
Il existe un défi méthodologique dans l'étude des enfants en tant que catégorie protégée, ce qui explique en partie le manque de données probantes sur l'impact de l'IA sur les enfants et nécessite une approche prudente - Obstacles méthodologiques à la recherche sur les enfants
Arg. 4Ottley souligne un défi méthodologique rarement évoqué : les enfants constituent une catégorie protégée dans le cadre de la recherche, ce qui implique des limitations quant à ce qui peut être étudié et à la manière de le faire. Cela explique en partie le manque de données probantes sur l'impact de l'IA sur les enfants et signifie que les choses sont souvent développées sans que les enfants y soient associés.
Ottley a noté que les enfants, ainsi que les femmes enceintes et les personnes incarcérées, sont considérés comme une catégorie protégée de la population, ce qui implique des limitations quant à ce qui peut être étudié et à la manière de le faire, et constitue l'une des raisons pour lesquelles il existe un manque de données probantes sur l'impact de l'IA sur les enfants . Elle a déclaré que cela signifie également que, bien souvent, les choses sont développées sans que les enfants y soient associés .
on: La question de savoir si la gouvernance de l'IA devrait privilégier la protection des enfants en restreignant leur accès ou en intégrant des garanties respectueuses des droits dans les systèmes
Les jeunes sont les utilisateurs les plus actifs de l'IA et les innovateurs les plus fréquents au sein des entreprises d'IA, pourtant ils ne sont presque jamais les décideurs, malgré le fait qu'ils vivront le plus longtemps avec les conséquences - Les jeunes exclus de la prise de décision en matière d'IA
Arg. 1Paullier soutient que les jeunes sont les utilisateurs les plus actifs de l'IA et constituent une grande partie des innovateurs au sein des entreprises technologiques spécialisées dans l'IA, pourtant ils ne sont presque jamais les décideurs. Il s'agit d'une lacune importante en matière de gouvernance, étant donné qu'ils vivront le plus longtemps avec les conséquences des décisions prises aujourd'hui.
Paullier a déclaré que les jeunes sont les utilisateurs les plus actifs de l'intelligence artificielle et constituent en réalité la majorité des innovateurs et créateurs au sein de certaines de ces grandes entreprises technologiques d'IA, mais qu'ils ne sont presque jamais les décideurs . Il a noté qu'ils vivront le plus longtemps avec les conséquences des décisions que nous prenons aujourd'hui .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être véritablement incluses dans les processus de gouvernance de l'IA, et non simplement consultées après que les décisions ont été prises
Des espaces significatifs permettant aux jeunes de participer à la gouvernance de l'IA doivent être créés au niveau national, et pas seulement à l'échelle mondiale, car les jeunes comprennent le mieux à la fois les opportunités et les risques - Participation nationale des jeunes
Arg. 2Paullier soutient que des espaces significatifs permettant aux jeunes de participer à la gouvernance de l'IA doivent être créés, notamment au niveau national, et pas seulement dans les forums mondiaux. Les jeunes sont ceux qui ressentent en premier l'impact de la technologie dans leur éducation, leur emploi et leur vie numérique quotidienne, et ils comprennent le mieux à la fois les opportunités et les risques.
Paullier a déclaré que les jeunes sont ceux qui ressentent en premier l'impact de la technologie dans leur éducation, leurs cycles d'emploi et leur vie numérique quotidienne, et qu'ils forgent leur identité dans l'espace numérique . Il a soutenu que les jeunes sont ceux qui comprennent le mieux les opportunités que l'IA peut apporter, mais aussi ceux qui aideront à identifier les biais, les discriminations et les exclusions .
Si des espaces significatifs ne sont pas créés pour les jeunes, ceux-ci créeront leurs propres espaces en dehors des cadres de gouvernance, comme cela s'est produit dans le domaine climatique - Les jeunes s'auto-organiseront
Arg. 3Paullier avertit que si des espaces significatifs ne sont pas créés pour permettre aux jeunes de participer à la gouvernance de l'IA, ceux-ci trouveront leur propre voie et créeront leurs propres espaces, comme cela s'est produit dans le domaine climatique. Cela souligne l'urgence d'une inclusion proactive.
Paullier a déclaré que si des espaces significatifs ne sont pas créés pour permettre aux jeunes de s'engager, ceux-ci trouveront leur voie et créeront leurs propres espaces, comme cela s'est produit dans le domaine climatique .
Les jeunes soulèvent systématiquement la dimension humaine et l'impact de l'IA sur le bien-être, la santé mentale et les relations humaines significatives comme leur préoccupation principale - Les jeunes privilégient le bien-être humain
Arg. 4Paullier rapporte que, dans toutes les régions, les jeunes soulèvent systématiquement la dimension humaine et l'impact de l'IA sur le bien-être, la santé mentale et les relations humaines significatives comme leur préoccupation principale. Bien que les jeunes valorisent la technologie, ce qu'ils valorisent le plus, c'est le sentiment d'appartenance, la confiance et des relations humaines significatives.
Paullier a déclaré que ce que les jeunes et les citoyens en général valorisent le plus, c'est le sentiment d'appartenance, la confiance et des relations humaines significatives . Il a appelé à mettre l'accent sur l'impact des technologies sur le bien-être et la santé mentale des communautés, et à travailler non seulement pour les jeunes, mais avec les jeunes .
Le journalisme est une espèce clé de voûte de l'écosystème informationnel ; les systèmes d'IA sont entraînés sur des contenus journalistiques collectés sans consentement ni compensation, fragilisant ainsi les modèles économiques du journalisme - Le journalisme en tant qu'infrastructure critique
Arg. 1Osterling soutient que le journalisme est une espèce clé de voûte de l'écosystème informationnel qui stabilise la confiance, ancre la vérification, structure la responsabilité et permet aux autres institutions de fonctionner. Les systèmes d'IA sont entraînés sur des contenus journalistiques collectés sans consentement, compensation ni crédit, fragilisant ainsi les modèles économiques du journalisme et la confiance du public.
Osterling a cité la description faite par sa collègue du journalisme comme espèce clé de voûte de l'écosystème informationnel, soulignant que sa disparition n'entraîne pas une adaptation de l'écosystème, mais son effondrement . Elle a déclaré que les systèmes d'IA sont entraînés sur des contenus journalistiques collectés sans consentement, compensation ni crédit , et a plaidé pour une infrastructure numérique publique, des politiques industrielles garantissant une IA d'intérêt public, ainsi qu'une gouvernance de l'IA exigeant que les droits humains soient intégrés tout au long du cycle de vie des systèmes d'IA .
La désinformation générée par l'IA et les discours haineux en ligne ont créé des risques de protection directs pour les réfugiés et les personnes déplacées, comme observé en Libye et au sein de la communauté Rohingya - les discours haineux générés par l'IA comme risque de protection
Arg. 1Tan soutient que la désinformation générée par l'IA et les discours haineux en ligne sont devenus des risques de protection directs pour les réfugiés et les personnes déplacées. Elle présente des exemples concrets tirés de la Libye et de la communauté Rohingya, où des contenus générés par l'IA ont attisé l'hostilité, les abus et la violence.
Tan a cité l'exemple de la Libye, où des discours haineux violents et des informations erronées dangereuses, notamment des contenus générés par l'IA, ont attisé l'hostilité et les abus envers les réfugiés et compromis la sécurité du HCR et des travailleurs humanitaires . Elle a également souligné que les Rohingya continuent de faire face à des discours déshumanisants en ligne, même en exil, et que ce type de haine peut alimenter les abus, l'exclusion, la violence et la peur .
Les intérêts géopolitiques concurrents entravent la gouvernance mondiale de l'IA, et le recours aux outils de négociation pour passer du marchandage positionnel à la négociation intégrative est essentiel pour dégager un terrain commun - La négociation comme outil de gouvernance
Arg. 1Bellion-Jourdan soutient que les intérêts géopolitiques concurrents et les asymétries de pouvoir constituent des obstacles à la gouvernance mondiale de l'IA, et que le recours aux outils et techniques de la négociation multilatérale peut aider à surmonter ces défis. L'objectif est de passer du marchandage positionnel et des dynamiques gagnant-perdant à la négociation intégrative et aux résultats gagnant-gagnant.
Bellion-Jourdan a soutenu que si nous exploitons la puissance de la négociation avec tous ses outils et techniques pour naviguer dans les jeux de pouvoir et les asymétries de pouvoir, cela nous permettrait de dégager un terrain commun . Il a appelé à investir dans la conception des processus, la gestion des processus et les formats innovants de négociation, soulignant qu'il ne suffira pas d'enfermer 193 États dans une salle en espérant parvenir à un accord .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour répondre à la nature mondiale des défis de la gouvernance de l'IA
La Convention-cadre du Conseil de l'Europe sur l'IA est le premier traité contraignant plaçant l'IA dans le cadre des droits de l'homme, de la démocratie et de l'état de droit - Premier traité contraignant sur l'IA
Arg. 1Kownacki salue la Convention-cadre du Conseil de l'Europe sur l'IA en tant que premier traité contraignant plaçant l'IA dans le cadre des droits de l'homme, de la démocratie et de l'état de droit. Il soutient que la Pologne traduit ces principes en pratique sur son territoire à travers sa stratégie nationale de numérisation et sa politique en matière d'IA.
Kownacki a déclaré que la Pologne accueille favorablement la Convention-cadre du Conseil de l'Europe sur l'IA, la décrivant comme le premier traité contraignant plaçant l'IA dans le cadre des droits de l'homme, de la démocratie et de l'état de droit . Il a noté que la politique nationale de la Pologne en matière d'IA s'engage en faveur d'une intelligence artificielle centrée sur l'humain et digne de confiance .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour répondre à la nature mondiale des défis de la gouvernance de l'IA
Le facteur humain, maintenir une personne ayant le dernier mot pour comprendre, contester et désactiver les décisions de l'IA, est le terrain commun sur lequel une gouvernance véritablement mondiale de l'IA peut être construite - Le facteur humain comme terrain commun
Arg. 2Kownacki soutient que le facteur humain — maintenir une personne ayant le dernier mot pour comprendre, contester et désactiver les décisions de l'IA — est non négociable et représente le terrain commun sur lequel une gouvernance véritablement mondiale de l'IA peut être construite. Cela doit être inscrit dans les valeurs, les lois, les normes et les institutions, et non laissé au rang de simple déclaration.
Kownacki a déclaré que, quelle que soit la capacité des systèmes d'IA, une personne doit conserver le dernier mot, pour comprendre la décision, la contester, et là où cela importe le plus, pour désactiver les systèmes, et que cela est non négociable, avant tout dans les systèmes à haut risque . Il a soutenu que le facteur humain n'appartient à aucune nation en particulier et constitue le terrain commun sur lequel une gouvernance véritablement mondiale de l'IA peut être construite .
on: La supervision humaine significative de l'IA doit être réelle et substantielle, et non une simple formalité, avec un être humain identifiable conservant l'autorité de modifier ou d'arrêter les systèmes
on: La question de savoir si la gouvernance de l'IA doit se concentrer sur des normes contraignantes universelles ou permettre un véritable pluralisme au-dessus d'un socle commun de garanties en matière de droits
Un socle commun de garanties en matière de droits, incluant la divulgation, la contestabilité et le recours, doit s'appliquer à toute personne affectée par l'IA - Socle commun de droits
Arg. 1Shahani soutient que la compatibilité entre les approches nationales de la gouvernance de l'IA n'exige pas l'uniformité. En revanche, un socle commun de garanties en matière de droits — incluant la divulgation, la contestabilité et le recours — doit s'appliquer à toute personne affectée par l'IA, avec un véritable pluralisme autorisé au-delà de ce socle.
Shahani a déclaré que la compatibilité entre les approches à l'échelle mondiale n'exige pas l'uniformité, et qu'il est possible d'établir un socle commun de garanties en matière de droits, incluant la divulgation, la contestabilité et le recours pour toute personne concernée, tout en permettant un véritable pluralisme au-delà de ce socle .
on: La question de savoir si la gouvernance de l'IA doit se concentrer sur des normes universelles contraignantes ou permettre un véritable pluralisme au-delà d'un socle commun de garanties en matière de droits
Les déclarations de sécurité doivent être accompagnées des conditions dans lesquelles les systèmes ont été testés et des taux d'échec connus, ventilés par langue, genre, handicap et région - Divulgation de sécurité désagrégée
Arg. 2Shahani soutient que les déclarations de sécurité relatives aux systèmes d'IA doivent être accompagnées des conditions dans lesquelles les systèmes ont été testés, des limitations connues et des taux d'échec ventilés par langue, genre, handicap, région et teinte de peau. Sans cela, il est impossible de tenir un système responsable de ses défaillances.
Shahani a déclaré que les déclarations de sécurité doivent être accompagnées des conditions dans lesquelles les systèmes ont été testés, des limitations connues et des taux d'échec ventilés par langue, genre, handicap, région, teinte de peau et autres critères, et que la divulgation de la provenance des données d'entraînement doit être une pratique standard . Elle a souligné qu'il est impossible de tenir un système responsable si l'on ne peut pas voir où il échoue .
on: La transparence est une exigence fondamentale dans toutes les dimensions de la gouvernance de l'IA, notamment en ce qui concerne l'utilisation des données, l'impact environnemental et les processus de prise de décision
Les pays de la majorité mondiale importent largement des modèles entraînés ailleurs et les déploient dans des contextes à enjeux élevés sans disposer des moyens pour les évaluer, ce qui nécessite une capacité d'évaluation régionale financée par des fonds publics - Capacité d'évaluation régionale
Arg. 3Shahani soutient que les pays de la majorité mondiale importent largement des modèles d'IA entraînés ailleurs et les déploient dans des contextes à enjeux élevés sans disposer des moyens pour les évaluer au préalable. Elle appelle à la mise en place d'une capacité d'évaluation des systèmes d'IA financée par des fonds publics et hébergée au niveau régional, avant leur déploiement, ainsi qu'à la création de benchmarks ouverts, élaborés avec et pour les langues sous-dotées en ressources.
Shahani a déclaré que les pays de la majorité mondiale importent largement des modèles entraînés ailleurs et les déploient dans des contextes à enjeux élevés sans disposer des moyens pour les évaluer au préalable, et a appelé à la mise en place d'une capacité d'évaluation des systèmes d'IA financée par des fonds publics et hébergée au niveau régional, avant leur déploiement, ainsi qu'à la création de benchmarks ouverts élaborés avec et pour les langues sous-dotées en ressources .
on: La question de savoir si les inégalités géographiques dans la diligence raisonnable en matière de droits humains résultent d'un choix structurel des entreprises ou d'un manque de capacités
Les savoirs autochtones et traditionnels sont intégrés dans les données d'entraînement sans consentement, reconnaissance ni contrepartie, ce qui exige une gestion des données pilotée par les communautés dans le cadre de la supervision humaine - Souveraineté des données autochtones
Arg. 4Shahani soutient que les savoirs autochtones et traditionnels sont intégrés dans les données d'entraînement de l'IA sans consentement, reconnaissance ni contrepartie. Elle appelle à ce que la gestion des données pilotée par les communautés soit reconnue comme faisant partie de la supervision humaine.
Shahani a déclaré que les savoirs autochtones et traditionnels sont intégrés dans les données d'entraînement sans consentement, reconnaissance ni contrepartie, et que la gestion des données pilotée par les communautés doit donc être reconnue comme faisant partie de la supervision humaine .
51 % des discussions sur la gouvernance de l'IA se déroulent à Genève, ce qui signifie que le reste du monde en est effectivement exclu en raison des restrictions de visa, qui reposent elles-mêmes sur des algorithmes opaques - Les algorithmes de visa excluent les voix du monde entier
Arg. 1Bonyo soutient que la concentration des discussions sur la gouvernance de l'IA à Genève, conjuguée aux restrictions de visa reposant sur des algorithmes opaques, exclut de fait le reste du monde de ces débats. Elle appelle à davantage de transparence dans les algorithmes qui déterminent si les personnes peuvent voyager pour participer aux forums de gouvernance.
Bonyo a cité un rapport indiquant que 51 % des discussions sur la gouvernance de l'IA cette année se tiennent à Genève, ce qui signifie que le reste du monde en est effectivement exclu faute d'accès aux visas . Elle a plaidé pour une ouverture algorithmique autour des procédures de visa et a demandé aux pays du Nord global de reconsidérer le type d'algorithmes externalisés pour déterminer si les personnes peuvent voyager .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être véritablement intégrées aux processus de gouvernance de l'IA, et non simplement consultées une fois les décisions prises
L'Africa AI Governance Index recense pour la première fois les stratégies, lois et institutions en matière d'IA dans tous les États africains, offrant ainsi un outil d'évaluation au service d'une gouvernance inclusive - Africa AI Governance Index (Linda Bonyo)
Arg. 2Bonyo présente l'Africa AI Governance Index, lancé par Lawyers Hub, comme un outil permettant de recenser pour la première fois les stratégies, lois et institutions en matière d'IA dans tous les États africains. Cet outil d'évaluation favorise une gouvernance inclusive en rendant la gouvernance africaine de l'IA visible et comparable.
Bonyo a indiqué que l'Africa AI Governance Index recense les stratégies, lois et institutions en matière d'IA dans tous les États africains, et que pour la première fois, une évaluation couvre l'ensemble du continent africain . Elle a invité les participants à consulter AIpolicy.africa pour interagir avec les travaux de l'AI Lab .
L'engagement de l'Uruguay en faveur d'une gouvernance de l'IA intégrant la dimension de genre et du Partenariat mondial pour les droits de l'homme représente une plateforme multipartite reliant les efforts sur les impacts transversaux de l'IA - Plateforme multipartite pour les droits de l'homme
Arg. 1De Bellis Bonilla souligne l'engagement de l'Uruguay à faire avancer une transformation numérique qui inclut le développement et l'utilisation de l'IA dans une approche inclusive et fondée sur le genre. Elle désigne le Partenariat mondial pour les droits de l'homme comme une large plateforme multipartite qui relie les efforts portant sur les impacts transversaux de l'IA.
De Bellis Bonilla a mentionné l'adhésion de l'Uruguay à la Déclaration de Madrid lors de la Cinquième Conférence ministérielle sur la politique étrangère féministe , et a mis en avant le Partenariat mondial pour les droits de l'homme du HCDH en tant que large plateforme et réseau multipartite reliant l'ensemble des efforts avec un focus transversal sur l'impact de l'IA .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour répondre à la nature mondiale des défis de la gouvernance de l'IA
Access Now appelle à l'arrêt des outils d'IA facilitant les violations du droit international humanitaire et du droit international des droits de l'homme, en particulier dans les contextes de conflit, ainsi qu'à la mise en place de mécanismes contraignants de gouvernance mondiale - Arrêt des IA violant le DIH
Arg. 1Gigena intervient au nom d'Access Now pour demander l'arrêt du développement et de l'utilisation des outils d'IA qui facilitent les violations du droit international humanitaire et du droit international des droits de l'homme, en particulier dans les contextes de conflit ou de guerre. Il appelle également à l'adoption de normes juridiques contraignantes et de mécanismes de gouvernance mondiale pour réguler les technologies de surveillance numérique et l'IA.
Gigena a appelé à l'arrêt du développement et de l'utilisation des outils d'IA facilitant les violations du droit international humanitaire et du droit international des droits de l'homme, en particulier dans les contextes de conflit ou de guerre . Il a également relayé les appels à l'adoption de normes juridiques contraignantes centrées sur les droits de l'homme et de mécanismes de gouvernance mondiale pour réguler les technologies de surveillance numérique et l'IA, en tenant compte des effets dissuasifs .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour relever les défis de nature mondiale posés par la gouvernance de l'IA
L'accès à l'IA devrait être considéré non pas comme un privilège à mériter, mais comme un droit fondamental à exercer, avec un renforcement des capacités mondiales en matière d'IA pour réduire les disparités de préparation — l'accès à l'IA en tant que droit
Arg. 1Cha soutient que l'accès à l'IA devrait être considéré non pas comme un privilège à mériter, mais comme un droit fondamental à exercer. Il souligne que les efforts mondiaux visant à renforcer la préparation à l'IA demeurent fragmentés, et que la République de Corée a proclamé une vision visant à établir un Hub mondial de l'IA afin de contribuer au renforcement des capacités mondiales en matière d'IA.
Cha a déclaré que la République de Corée considère l'accès à l'IA non pas comme un privilège à mériter, mais comme un droit fondamental à exercer . Il a noté que, à mesure que les pays approfondissent leur préparation à l'IA, leurs approches en matière de gouvernance de celle-ci s'approfondissent également, mais que ces efforts restent fragmentés à l'échelle mondiale , et a décrit la vision de la Corée visant à établir le Hub mondial de l'IA en partenariat avec neuf organisations participantes spécialisées dans l'IA et les domaines connexes .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour relever les défis de nature mondiale que pose la gouvernance de l'IA
La connectivité centrée sur les communautés est une condition préalable à une participation équitable à l'IA ; les communautés ne sont pas le dernier kilomètre mais le premier kilomètre de l'IA - Les communautés comme premier kilomètre
Arg. 1La représentante de l'APC soutient qu'avant que les communautés puissent contribuer des données, développer des solutions d'IA locales, influencer les politiques ou bénéficier de l'innovation, elles ont besoin d'une connectivité significative, abordable, fiable et localement pertinente. Une connectivité centrée sur les communautés rapproche le pouvoir de celles-ci et permet aux femmes, aux peuples autochtones, aux communautés rurales et aux locuteurs de langues sous-représentées de devenir des créateurs et des décideurs.
L'intervenant a déclaré que la connectivité centrée sur les communautés va au-delà de la simple fourniture d'un accès à Internet ; il s'agit pour les communautés de posséder, de gérer et de gouverner l'infrastructure qui les relie, en créant un espace où les savoirs locaux, les langues locales et les priorités communautaires peuvent s'épanouir . L'intervenant a conclu que les communautés ne constituent pas le dernier kilomètre de la connectivité ou de l'IA, mais en sont en réalité le premier kilomètre .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être véritablement incluses dans les processus de gouvernance de l'IA, et non simplement consultées après que les décisions ont été prises
L'histoire nous jugera non pas sur l'intelligence de notre IA, mais sur notre capacité à protéger ceux qui ont la voix la plus faible et l'enjeu le plus grand dans l'avenir - Responsabilité morale envers les enfants
Arg. 1Kiladze soutient que la question de l'IA et des droits des enfants est avant tout une question morale, celle de savoir si les États, les entreprises et les organisations internationales ont la volonté de concevoir, développer et gouverner une IA qui respecte les droits des enfants. L'histoire ne nous jugera pas sur l'intelligence de notre IA, mais sur notre capacité à protéger ceux qui ont la voix la plus faible et l'enjeu le plus grand dans l'avenir.
Kiladze a déclaré que l'histoire ne nous jugera pas sur l'intelligence de notre IA ou de nos machines, mais sur notre capacité à avoir mis à profit ce moment extraordinaire pour protéger ceux qui avaient la voix la plus faible mais l'enjeu le plus grand dans l'avenir . Elle a fait référence à la déclaration conjointe des Nations Unies sur l'IA et les droits de l'enfant, co-pilotée par l'ITU, le CRC et l'UNICEF, qui a réuni 13 agences des Nations Unies et plus de 60 organisations, avec la participation d'enfants des cinq régions de l'ONU dans son élaboration .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dans les systèmes dès la phase de conception, et la responsabilité incombant aux développeurs et aux déployeurs plutôt qu'aux enfants ou aux familles
La compatibilité entre les approches nationales n'exige pas l'uniformité ; un socle commun de garanties des droits, avec un véritable pluralisme au-dessus de celui-ci, est réalisable - Socle commun avec pluralisme
Arg. 1Cet argument a été principalement avancé par Shumaila Hussaini Shahani. Le rôle de Clara Chappaz lors de la session était celui de modératrice, et ses remarques de clôture ont synthétisé les contributions du panel plutôt que de défendre cet argument spécifique de manière indépendante.
L'innovation ne doit pas se faire au détriment des enfants ; en cas de risque potentiel, la protection doit être prioritaire, et les systèmes d'IA ne doivent être accessibles aux enfants que s'ils sont reconnus sûrs et conçus dans le respect de leurs droits - La protection prime sur l'innovation pour les enfants
Arg. 1Hendricks soutient que l'innovation ne doit pas être poursuivie au détriment de la sécurité et des droits des enfants. Les enfants ne devraient interagir qu'avec des systèmes d'IA dont la sécurité a été prouvée et qui ont été conçus en tenant compte de leurs droits, et la responsabilité doit incomber à ceux qui développent et tirent profit de la technologie, et non aux enfants ou aux familles.
Hendricks a déclaré que face à un risque potentiel, nous devons donner la priorité à la protection, et que les enfants ne devraient interagir avec des systèmes d'IA que si ceux-ci sont reconnus sûrs, conçus dans le respect des droits des enfants et tenant compte de leurs perspectives dans les décisions qui les concernent . Elle a souligné que la responsabilité doit incomber à ceux qui développent et tirent profit de cette technologie, et a appelé à bâtir un avenir de l'IA digne de la confiance et de la sécurité de chaque enfant .
on: Les enfants nécessitent une protection particulière dans la gouvernance de l'IA, avec une sécurité intégrée dès la phase de conception des systèmes, et la responsabilité incombant aux développeurs et aux déployeurs plutôt qu'aux enfants ou aux familles
Les créateurs et les artistes doivent conserver le contrôle sur la manière dont leurs œuvres sont utilisées pour développer des systèmes d'IA, des accords librement négociés entre les titulaires de droits et les développeurs de technologies créant ainsi confiance et sécurité juridique - Contrôle des créateurs sur les données d'entraînement de l'IA
Arg. 1Baruch soutient qu'une gouvernance responsable de l'IA exige que les créateurs et les artistes conservent le contrôle sur la manière dont leurs œuvres sont utilisées pour entraîner des systèmes d'IA. Les accords conclus librement et volontairement entre les créateurs, les titulaires de droits et les développeurs de technologies constituent le fondement de la confiance, de la sécurité juridique et de l'innovation durable.
Baruch a déclaré que les créateurs et les artistes doivent conserver le contrôle sur la manière dont leurs œuvres sont utilisées pour développer des systèmes d'IA, et que les accords conclus librement et volontairement entre les créateurs, les titulaires de droits et les développeurs de technologies créent confiance, sécurité juridique et innovation durable . Il a cité les partenariats d'Universal Music Group avec des entreprises telles que NVIDIA, Stability AI et Spotify comme exemples concrets de cette approche .
La transparence sur la manière dont les œuvres des créateurs sont utilisées pour développer des modèles d'IA est essentielle pour protéger l'intégrité artistique et garantir une véritable responsabilisation - Transparence pour les créateurs
Arg. 2Baruch soutient que les créateurs doivent savoir quand et comment leurs œuvres ont été utilisées pour développer des modèles d'IA et comment elles seront utilisées pour les résultats produits. Sans transparence, il ne peut y avoir ni responsabilisation, ni confiance, ni véritable collaboration entre les secteurs créatif et technologique.
Baruch a déclaré que les créateurs devraient savoir quand et comment leurs œuvres ont été utilisées pour développer des modèles d'IA et comment elles seront utilisées pour les résultats produits, et que sans transparence, il ne peut y avoir ni responsabilisation, ni confiance, ni véritable collaboration . Il a soutenu qu'avec la transparence, l'intégrité artistique peut être protégée et, si nécessaire, défendue .
on: La transparence est une exigence fondamentale dans toutes les dimensions de la gouvernance de l'IA, notamment en ce qui concerne l'utilisation des données, l'impact environnemental et les processus de prise de décision
L'IA doit amplifier la créativité humaine plutôt que la remplacer, car la musique porte en elle la mémoire, l'identité, l'émotion et le vécu, qui vont bien au-delà des données ou des schémas - L'IA comme amplificateur de la créativité humaine
Arg. 3Baruch soutient que l'IA est un outil créatif extraordinaire, mais qu'elle doit demeurer subordonnée à la créativité humaine plutôt que de la remplacer. La musique, en tant que forme d'art profondément humaine portant la mémoire, l'identité, l'émotion et le vécu, illustre parfaitement pourquoi la supervision humaine de l'IA dans le secteur créatif est essentielle.
Baruch a déclaré que l'IA est un outil créatif extraordinaire, mais qu'elle devrait amplifier la créativité humaine et non la remplacer, et que la musique est profondément humaine, portant en elle la mémoire, l'identité, l'émotion et le vécu . Il a cité la description de la musique par Bjorn Ulvaeus comme témoignage, et a soutenu que, si elle est appliquée de manière responsable, l'IA peut déclencher une nouvelle renaissance de la créativité humaine, préservant le patrimoine culturel et inspirant les générations futures .
L'article 27 de la Déclaration universelle des droits de l'homme et l'article 15 du Pacte international relatif aux droits économiques, sociaux et culturels protègent les intérêts moraux et matériels des créateurs, et ces principes demeurent pleinement applicables à l'ère de l'IA - Cadre des droits de l'homme pour les créateurs
Arg. 4Baruch ancre l'approche de l'industrie musicale en matière de gouvernance de l'IA dans le droit international des droits de l'homme, en soutenant que les droits des créateurs à la protection de leurs intérêts moraux et matériels sont consacrés par des instruments fondamentaux des droits de l'homme et demeurent tout aussi pertinents à l'ère de l'IA.
Baruch a déclaré que l'article 27 de la Déclaration universelle des droits de l'homme et l'article 15 du Pacte international relatif aux droits économiques, sociaux et culturels reconnaissent que les créateurs ont droit à la protection de leurs intérêts moraux et matériels découlant de leurs œuvres, et que ces principes sont tout aussi pertinents à l'ère de l'IA .
Les résultats d'une enquête menée auprès des participants à la session montrent qu'une pluralité d'entre eux s'inquiètent de l'insuffisance des mesures de gouvernance en place, la responsabilité, l'état de droit et l'impact de l'IA sur les enfants étant identifiés comme les principales préoccupations en matière de droits humains - Préoccupation des participants concernant les lacunes de gouvernance
Arg. 1Hicks présente les résultats d'une enquête menée auprès des participants à la session, révélant que beaucoup d'entre eux sont incertains ou préoccupés par l'adéquation des mesures actuelles de gouvernance de l'IA. L'enquête a identifié la responsabilité et l'état de droit, ainsi que l'impact de l'IA sur les enfants, comme les principales préoccupations en matière de droits humains parmi les participants.
Hicks a indiqué qu'une pluralité de personnes interrogées étaient très préoccupées par le fait que nous ne disposons pas des mesures nécessaires pour faire face aux défis et aux opportunités abordés lors de la session . Elle a noté que les deux principales questions relatives aux droits humains identifiées dans l'enquête étaient la responsabilité et l'état de droit, ainsi que l'impact de l'IA sur les enfants, suivis par la surveillance et l'utilisation de l'IA par les forces de l'ordre, et la durabilité environnementale .
Les personnes interrogées ont massivement désigné les entreprises développant l'IA, les États et les organisations de déploiement comme les principales parties responsables des actions de l'IA agentique, ce qui est cohérent avec les Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l'homme - Responsabilité distribuée pour l'IA agentique
Arg. 2Hicks présente les résultats d'une enquête montrant que les participants ont identifié une hiérarchie de responsabilité pour l'IA agentique : en premier lieu, les entreprises qui développent les modèles d'IA ; en deuxième lieu, les États qui doivent veiller à ce que les environnements réglementaires préviennent les préjudices ; et en troisième lieu, les organisations qui déploient des systèmes agentiques. Cela est cohérent avec les Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l'homme.
Hicks a indiqué que les personnes interrogées ont désigné les entreprises qui développent les modèles d'IA comme la principale partie responsable des actions de l'IA agentique, suivies des États et des autorités publiques ayant autorisé le système, puis des organisations qui le déploient . Elle a noté que cela est cohérent avec les Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l'homme, dont le premier pilier stipule que les États sont responsables de la mise en place d'un environnement réglementaire empêchant les entreprises de causer des préjudices .
on: L'IA agentique crée des défis de responsabilité sans précédent qui nécessitent de nouveaux paradigmes de gouvernance, notamment une documentation structurée, une responsabilité humaine identifiable et des droits à un recours en temps opportun
Une enquête menée auprès de 1 000 enfants dans 49 pays a révélé qu'ils souhaitent que l'IA soit façonnée avec eux, et pas seulement pour eux, et qu'ils veulent qu'elle respecte leurs droits plutôt que d'en être simplement protégés - Les enfants veulent avoir leur mot à dire dans la gouvernance de l'IA
Arg. 3Hicks fait référence à une enquête menée auprès de 1 000 enfants dans 49 pays en collaboration avec l'UIT, qui a révélé que les enfants souhaitent participer de manière significative à la conception de l'IA plutôt que d'en être simplement protégés. Les enfants ont exprimé leur souhait que l'IA respecte leurs droits et ont demandé à être inclus dans les discussions sur la gouvernance.
Hicks a décrit une enquête intitulée « Me and AI » menée auprès de 1 000 enfants dans 49 pays, soulignant que les enfants ont déclaré vouloir que l'IA soit façonnée avec eux, et pas seulement pour eux, qu'ils souhaitent qu'elle respecte leurs droits et ne veulent pas simplement en être protégés .
on: Les communautés concernées, notamment les femmes, les jeunes, les enfants et les populations du Sud global, doivent être incluses de manière significative dans les processus de gouvernance de l'IA, et non simplement consultées après que les décisions ont été prises
La confiance dans l'IA n'est pas seulement un objectif éthique, mais une condition préalable à une adoption plus large de l'IA, nécessitant une approche centrée sur l'humain, fondée sur les droits de l'homme, les valeurs démocratiques, l'éthique, la sécurité, la transparence et la responsabilité - La confiance comme condition préalable à l'adoption de l'IA
Arg. 1Pipan soutient que, selon la Slovénie, la confiance dans l'IA ne doit pas être perçue comme une simple aspiration éthique, mais comme une condition préalable concrète à l'adoption plus large des systèmes d'IA. Cette confiance doit reposer sur une approche centrée sur l'humain, ancrée dans les droits de l'homme, les valeurs démocratiques, l'éthique, la sécurité, la transparence et la responsabilité.
Pipan a déclaré que, de l'avis de la Slovénie, la confiance n'est pas seulement un objectif éthique, mais également une condition préalable à l'adoption plus large de l'IA, et que cette approche se reflète dans la stratégie nationale slovène pour l'IA 2030, adoptée en mars de la même année . Elle a souligné que la stratégie promeut clairement une approche de l'IA centrée sur l'humain, fondée sur les droits de l'homme, les valeurs démocratiques, l'éthique, la sécurité, la transparence et la responsabilité, avec pour objectif de garantir que l'IA est développée et utilisée de manière responsable dans l'intérêt public .
on: La gouvernance de l'IA doit être ancrée dans le droit international des droits de l'homme en tant que cadre contraignant, et non dans de simples aspirations éthiques
Instaurer la confiance dans l'IA requiert une mise en œuvre efficace et concrète, notamment une gouvernance responsable, une sécurité juridique, des mécanismes de soutien et un investissement soutenu dans la culture numérique et les compétences technologiques - La mise en œuvre comme fondement de la confiance
Arg. 2Pipan soutient que proclamer des principes ne suffit pas ; instaurer une véritable confiance dans l'IA exige de traduire ces principes en une mise en œuvre efficace et concrète. Cela implique de garantir une gouvernance responsable, une sécurité juridique, des mécanismes de soutien appropriés et un investissement soutenu dans la culture numérique et les compétences technologiques.
Pipan a indiqué que la stratégie reconnaît que l'instauration de la confiance nécessite une mise en œuvre efficace et concrète, ce qui implique de garantir une gouvernance responsable, une sécurité juridique, des mécanismes de soutien appropriés et un investissement soutenu dans la culture numérique et les compétences technologiques .
on: La transparence est une exigence fondamentale dans toutes les dimensions de la gouvernance de l'IA, notamment en ce qui concerne l'utilisation des données, l'impact environnemental et les processus de prise de décision
En tant que petite communauté linguistique, la Slovénie accorde une importance particulière à la protection de la diversité linguistique et culturelle, faisant valoir qu'une IA inclusive doit refléter et préserver toutes les langues et cultures afin qu'aucune communauté ne soit laissée pour compte - Diversité linguistique et culturelle dans l'IA
Arg. 3Pipan souligne la préoccupation particulière de la Slovénie, en tant que petite communauté linguistique, selon laquelle une IA inclusive doit refléter et préserver toutes les langues et cultures. Elle soutient que la gouvernance de l'IA doit veiller à ce qu'aucune communauté ne soit laissée pour compte en raison d'une sous-représentation linguistique ou culturelle dans les systèmes d'IA.
Pipan a déclaré qu'en tant que petite communauté linguistique, la Slovénie accorde une importance particulière à la protection de la diversité linguistique et culturelle, et qu'une IA inclusive devrait refléter et préserver toutes les langues et cultures, en veillant à ce qu'aucune communauté ne soit laissée pour compte .
La coopération internationale, par l'échange de bonnes pratiques, le développement d'approches interopérables et le renforcement des capacités, est essentielle pour promouvoir une IA digne de confiance à l'échelle mondiale - Coopération internationale pour une IA digne de confiance
Arg. 4Pipan appelle à un renforcement de la coopération internationale comme pilier essentiel de la promotion d'une IA digne de confiance à l'échelle mondiale. Elle soutient que cette coopération devrait prendre la forme d'échanges de bonnes pratiques, du développement d'approches interopérables et du renforcement des capacités entre les pays.
Pipan a présenté quatre priorités prospectives pour la Slovénie, notamment le renforcement de la coopération internationale par l'échange de bonnes pratiques, le développement d'approches interopérables et le renforcement des capacités pour promouvoir une IA digne de confiance à l'échelle mondiale . Elle a également appelé à compléter les cadres réglementaires par un soutien concret à la mise en œuvre, incluant le renforcement des capacités, des orientations pratiques et la promotion de la culture numérique liée à l'IA .
on: La coopération internationale, les cadres multilatéraux contraignants et le renforcement des capacités sont essentiels pour relever les défis de gouvernance de l'IA à l'échelle mondiale
La collaboration entre la Banque mondiale et le HCDH dans la préparation de la session sur la gouvernance de l'IA reflète l'importance de la coopération au sein du système des Nations Unies pour traiter des questions urgentes et importantes de gouvernance de l'IA - collaboration du système onusien sur l'IA
Arg. 1Ng souligne l'importance du dialogue en le qualifiant d'opportun et de crucial, et reconnaît le travail de préparation considérable accompli par le HCDH et son homologue. Cela sous-entend qu'une gouvernance efficace de l'IA nécessite un effort coordonné entre les organisations du système des Nations Unies, plutôt que des approches cloisonnées.
Ng a remercié le HCDH et les coprésidents pour le travail considérable accompli dans la préparation de la session, et a tout particulièrement salué son homologue au HCDH, Li Zhou, pour ses efforts remarquables .
Une participation large et diversifiée des parties prenantes doit être structurellement garantie dans les dialogues sur la gouvernance de l'IA, en alternant entre les représentants des États membres et ceux des parties prenantes non étatiques - Participation multipartite structurée
Arg. 1Le Co-modérateur explique que le segment des interventions du public est organisé de manière à alterner entre un représentant des États membres et un représentant des autres parties prenantes. Cette disposition procédurale reflète un engagement substantiel en faveur d'une participation multipartite inclusive en tant que principe de gouvernance, garantissant que la société civile, le secteur privé et les autres voix non étatiques sont formellement intégrés dans la structure du dialogue aux côtés des gouvernements.
Le Co-modérateur a indiqué que, dans un souci de promotion d'une large participation des parties prenantes, le segment se déroulerait avec un représentant des États membres et un représentant des autres parties prenantes, en alternance entre les deux .
La discipline temporelle et l'égalité du temps de parole pour tous les participants sont essentielles afin de maximiser le nombre de voix entendues dans les forums de gouvernance de l'IA - Participation égale et limitée dans le temps
Arg. 2Le Co-modérateur souligne qu'un minuteur a été activé et que les microphones seront automatiquement coupés une fois le temps de parole alloué écoulé. Cet engagement procédural reflète un principe substantiel selon lequel les forums de gouvernance doivent gérer activement la participation afin de garantir que le plus large éventail possible de voix puisse être entendu, plutôt que de laisser quelques intervenants dominer les échanges.
Le Co-modérateur a indiqué qu'un minuteur avait été activé, visible à l'écran et au pupitre, et que les microphones seraient automatiquement coupés une fois le temps de parole alloué écoulé, encourageant tous les intervenants à respecter le temps imparti afin de permettre au plus grand nombre possible de prendre la parole .
Graphe de connaissances de la session
Intervenants · Sujets · Arguments · Relations
Across the session, intervenants from government, civil society, international organisations, and academia converged on the view that AI governance cannot remain voluntary or ethics-based but must be anchored in binding international human rights law. Turk argued that international human rights law constitutes a binding legal framework and that human rights provide the compass for AI governance . Bahous stated that AI governance cannot be treated solely as a technical issue and is fundamentally a human rights matter, referencing CEDAW and the ICCPR as comprehensive frameworks . Arias Arzeno argued that justice systems are essential for converting human rights principles into reality . Lampel called for enforcing international human rights law today through binding legal frameworks applied equally regardless of wealth or power . Cassayre recommended that human rights and the rule of law must underpin the development and deployment of digital technologies . Chetty argued that prevailing governance models anchored in ethical or responsible AI remain structurally inadequate and called for normative frameworks rooted in international human rights law . Pipan stated that trust in AI requires a human-centric approach grounded in human rights and democratic values . Eghobamien-Mshelia argued that CEDAW requires states to achieve substantive equality by tackling structural barriers .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
AI governance must be treated as a fundamental human rights issue, not merely a technical one, with international human rights law providing a binding legal framework - Human rights as binding framework
Justice systems must convert human rights principles into reality by ensuring accountability when AI causes harm, focusing on transparency, traceability, and effective remedy - Justice systems as accountability mechanisms
The rule of law requires implementing binding legal frameworks equally, regardless of wealth, power, or influence - Binding legal frameworks
AI governance must embed human rights across the full AI lifecycle, from design to deployment and monitoring - Full lifecycle governance
AI governance frameworks must move beyond self-regulatory, ethics-based models to normative frameworks rooted in international human rights law - Beyond voluntary ethics
Trust in AI is not only an ethical objective but a prerequisite for broader AI adoption, requiring a human-centric approach grounded in human rights, democratic values, ethics, safety, transparency, and accountability - Trust as prerequisite for AI adoption
Children's rights must be central to AI governance as a cross-cutting consideration, with safety built into systems from the start rather than added after harm occurs - Children's rights as cross-cutting issue
CEDAW provides an essential framework requiring states to achieve substantive equality and tackle structural barriers in AI governance - CEDAW as AI governance framework
Multiple intervenants explicitly rejected the framing that regulation and innovation are in tension. Turk stated that we do not consider safety standards for medicines, cars, or aircraft as obstacles to progress but as the reason why people trust those technologies, and that it is possible to design technologies that advance rights, economic opportunity, and safety simultaneously . Bahous drew the same analogy, arguing that just as we would never release food, medicine, aircraft, or vehicles without rigorous oversight, AI should not be deployed without mandatory safeguards . Cassayre stated that effective regulation, transparency, accountability, and human oversight are not obstacles to innovation but the foundations of trustworthy and sustainable innovation . Kownacki argued that Poland's answer is not to halt innovation but to keep one factor constant at its core: the human being .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
AI governance must be treated as a fundamental human rights issue, not merely a technical one, with international human rights law providing a binding legal framework - Human rights as binding framework
AI governance must embed human rights across the full AI lifecycle, from design to deployment and monitoring - Full lifecycle governance
The rule of law requires implementing binding legal frameworks equally, regardless of wealth, power, or influence - Binding legal frameworks
The human factor, keeping a person with the final word to understand, contest, and switch off AI decisions, is the common ground on which truly global AI governance can be built - Human factor as common ground
There was strong consensus that human oversight cannot be nominal. Turk stated that human oversight of AI systems cannot be just a rubber stamp and requires that an identified person be granted authority, competence, time, independence, and power to alter and even stop a system . Arias Arzeno argued that no public institution can justify a decision by saying that is what the system told us to do, and that technology should help the judge but never replace them . El Fallah Seghrouchni proposed that when agents are deployed in public services, there must be an identifiable human being in charge for all issues tied to rights, and that the functioning of the algorithm must never be autonomous in regards to rights and the law . Kownacki stated that however capable AI systems become, a person must keep the final word to understand, contest, and switch off decisions, and that this is non-negotiable . Tan argued that human oversight must be real, informed, and able to change outcomes in high-stakes areas such as asylum and border management .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
No public institution can justify a decision by saying the system told it to do so; responsibility must lie with people and institutions - Human institutional responsibility
AI systems must be subject to structured documentation of agent chains, appointment of an identifiable responsible human, and a right to timely redress - Three accountability obligations
The human factor, keeping a person with the final word to understand, contest, and switch off AI decisions, is the common ground on which truly global AI governance can be built - Human factor as common ground
Common and well-designed standards for AI risk, including human rights considerations, are needed to ensure that human rights due diligence boards function consistently across interconnected multi-agent systems - Need for common AI risk standards
Transparency emerged as a cross-cutting requirement endorsed by intervenants from diverse backgrounds. Turk argued that decisions around AI need to be transparent about how data is being used and where people can seek justice . Luccioni described transparency as a fundamental human right she has been fighting for, enabling users to know what AI costs, where data comes from, and where energy comes from . Aerdts highlighted the Netherlands' algorithm register as a transparency tool covering all algorithms used by the Dutch government . Baruch stated that without transparency there can be no accountability, no trust, and no meaningful collaboration . Shahani called for safety claims to be accompanied by conditions under which systems were tested and failure rates disaggregated by language, gender, disability, and region . Dad argued that the evidence problem in AI governance is fundamentally a resourcing problem and that civil society organisations documenting harms must be connected to decision-making .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
Transparency about AI's environmental footprint is a fundamental human right, enabling users to make informed choices between tools - Environmental transparency as human right
The algorithm register and fundamental rights impact assessments used in the Netherlands demonstrate practical tools for translating legal requirements into accountability - Practical accountability tools
Transparency about when and how creators' works are used to develop AI models is essential for protecting artistic integrity and enabling meaningful accountability - Transparency for creators
Safety claims must be accompanied by conditions under which systems were tested and known failure rates disaggregated by language, gender, disability, and region - Disaggregated safety disclosure
Human rights due diligence and impact assessments must be mandatory before and after AI deployment, not merely aspirational - Mandatory due diligence
Building trust in AI requires effective and practical implementation, including responsible governance, legal certainty, support mechanisms, and sustained investment in AI literacy and technology skills - Implementation as foundation of trust
Protection of children from AI harms was one of the most widely shared concerns across the session. Turk called for specific attention to protecting children online and encouraged drawing on OHCHR's guidelines . Livingstone presented abundant evidence of child rights violations, including that across 11 global south countries up to one child per classroom reported AI was used to make sexually explicit deepfakes of them, and that reports of AI-generated child sexual abuse material are rising exponentially . Lametti described Canada's proposed law requiring AI chatbots to be proven safe before exposure to children . Henriques argued on behalf of over 120 signatories that children's rights must be central to AI governance and that safety must be built into systems from the start . Kiladze stated that history will not judge us by how intelligent our AI is but by whether we protected those with the smallest voice and the greatest stake in the future . Brant described Brazil's digital statute requiring platforms to adopt child protection measures from the design phase . Kakkar argued that we need to have certification and post-deployment monitoring of harms and impacts, and that the onus must be placed back on platforms, companies, governments, and regulators .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
Canada's proposed law would require AI chatbots to be proven safe before exposure to children, with a digital commissioner to ensure compliance - Proof-of-safety legislation
Children's rights must be central to AI governance as a cross-cutting consideration, with safety built into systems from the start rather than added after harm occurs - Children's rights as cross-cutting issue
Children are not a homogeneous group; indigenous children, girls, children with disabilities, and children of African descent face disproportionate impacts from gaps in AI governance - Intersectionality of child rights
Children should interact with AI systems only if they are proven safe and designed to respect children's rights, with responsibility sitting with those who build and profit from the technology - Proof of safety before child exposure
Innovation should not come at the cost of harm to children; if there is potential harm, protection must be prioritised, and AI systems should only be accessible to children if proven safe and designed to respect their rights - Protection over innovation for children
Today's children are AI natives who need education and critical thinking skills to engage with AI in a balanced way, with their voices flowing into governance discussions - AI literacy for children
History will judge us not by how intelligent our AI is, but by whether we protected those with the smallest voice and the greatest stake in the future - Moral responsibility to children
There was broad consensus that AI does not operate on a neutral playing field but actively amplifies existing inequalities. Turk stated that AI is fuelling mass surveillance, disinformation, and enabling bias including from a gender perspective, and that AI will deepen inequalities rather than help close them without inclusive governance . Bahous cited evidence that 44% of assessed AI systems demonstrate gender bias and that up to 99% of online deepfakes target women . Livingstone documented that AI power is concentrated in very few companies, countries, and languages, with adverse impacts on cultures, languages, inclusion, and education . Dad argued that companies conduct meaningful human rights assessments primarily where the law requires them to, primarily in the EU, creating a two-tier rights regime determined by geography . López Agueda warned that without inclusive governance, the global south will serve merely as a battery or data provider for greater powers . Chetty argued that prevailing governance frameworks deepen existing inequalities by extracting value from individuals, communities, and nations without reciprocal benefit .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
AI governance must be treated as a fundamental human rights issue, not merely a technical one, with international human rights law providing a binding legal framework - Human rights as binding framework
44% of assessed AI systems demonstrate gender bias, and AI reproduces and amplifies harmful stereotypes because training data reflects existing biases - AI amplifies gender bias
Technology-facilitated gender-based violence cannot be treated as a niche safety issue; any due diligence framework that does not address it has written half the population out of its protection - TFGBV as systemic issue
Without inclusive governance, the global south will serve merely as a battery or data provider for greater powers - Global south as data colony
AI governance frameworks must move beyond self-regulatory, ethics-based models to normative frameworks rooted in international human rights law - Beyond voluntary ethics
CEDAW provides an essential framework requiring states to achieve substantive equality and tackle structural barriers in AI governance - CEDAW as AI governance framework
AI-amplified disinformation campaigns and hate speech force women and girls to self-censor, undermining their democratic participation - Disinformation and democratic exclusion
Intervenants converged on the view that agentic AI represents a qualitatively new accountability challenge. El Fallah Seghrouchni described accountability in agentic systems as probably the most significant legal challenge of the decade, noting that with networks of individually autonomous agents there is no human at the origin of the final decision . She proposed three obligations: structured documentation of agent chains, an identifiable human in charge for rights-related issues, and a right to timely redress . Luccioni argued that agentic AI amplifies degrees of separation between users and underlying technology, making it harder to identify where failures originate . Park noted that the problem arises when multi-agent systems from different companies are interconnected, as each company has its own definition of AI risk . Hicks reported that survey respondents overwhelmingly identified companies developing AI models, states, and deploying organisations as the primary responsible parties for agentic AI .
Agentic AI creates the most significant legal accountability challenge of the decade, as no single human is at the origin of final decisions in networks of autonomous agents - Agentic AI accountability gap
AI systems must be subject to structured documentation of agent chains, appointment of an identifiable responsible human, and a right to timely redress - Three accountability obligations
Agentic AI amplifies degrees of separation between users and underlying technology, making it harder to identify where failures originate - Agentic AI opacity
Gender and child rights impact assessments must be mandatory, conducted before deployment with affected communities participating - Mandatory gender impact assessments
Survey respondents overwhelmingly identified AI-developing companies, states, and deploying organisations as the primary responsible parties for agentic AI actions, consistent with the UN Guiding Principles on Business and Human Rights - Distributed accountability for agentic AI
Common and well-designed standards for AI risk, including human rights considerations, are needed to ensure that human rights due diligence boards function consistently across interconnected multi-agent systems - Need for common AI risk standards
There was strong consensus that meaningful participation of affected communities is not optional but essential to legitimate AI governance. Bahous stated that women and girls, feminist technologists, indigenous communities, labour organisations, disability advocates, and civil society must be meaningfully involved and empowered . Paullier argued that young people are the most users of AI yet almost never the decision-makers, and that if meaningful spaces are not created, young people will create their own spaces as happened in the climate space . Aerdts noted that when making policy for children and young people, they must be genuinely included in the decision-making process . Dad argued that gender and child rights impact assessments must be conducted before deployment with affected communities participating, not merely documented . Bonyo highlighted that 51% of AI governance conversations happen in Geneva, effectively locking out the rest of the world . The APC representative stated that communities are not the last mile of AI but the first mile . Hicks referenced a survey of 1,000 children in 49 countries who said they want AI to be shaped with them, not just for them .
Women and girls, feminist technologists, indigenous communities, and civil society must be meaningfully involved and empowered in AI governance - Inclusive participation requirement
Young people are the most users of AI and the most frequent innovators within AI firms, yet they are almost never the decision-makers despite living longest with the consequences - Youth excluded from AI decision-making
When making policy for children and young people, they must be genuinely included in the decision-making process alongside parents and educators, not left to face issues too big for parents but too small for police - Genuine youth inclusion in policy
Human rights due diligence and impact assessments must be mandatory before and after AI deployment, not merely aspirational - Mandatory due diligence
51% of AI governance conversations happen in Geneva, meaning the rest of the world is effectively locked out due to visa restrictions, which themselves rely on opaque algorithms - Visa algorithms exclude global voices
Community-centred connectivity is a prerequisite for equitable AI participation; communities are not the last mile but the first mile of AI - Communities as first mile
A survey of 1,000 children in 49 countries found they want AI to be shaped with them, not just for them, and they want it to respect their rights rather than simply being shielded from it - Children want agency in AI governance
Intervenants broadly agreed that the global nature of AI requires international cooperation and binding multilateral frameworks. Turk called for regulation guided by human rights as the most obvious solution and noted that OHCHR's advisory service is aimed at helping states govern AI in line with human rights responsibilities . Kownacki welcomed the Council of Europe Framework Convention on AI as the first binding treaty placing AI within the order of human rights, democracy, and the rule of law . Lampel called for enforcing international human rights law today through binding legal frameworks applied equally regardless of wealth or power . Pipan called for strengthening international cooperation through the exchange of good practices, interoperable approaches, and capacity building . Cha stated that the Republic of Korea considers access to AI not as a privilege to be earned but as a basic right to be enjoyed, and described Korea's vision for a Global AI Hub . Bellion-Jourdan argued that leveraging negotiation tools to shift from positional bargaining to integrative negotiation is essential to forge common ground on global AI governance .
The UN system must use international human rights law as a binding compass for AI governance, with OHCHR's advisory service helping states govern AI in line with human rights responsibilities - UN human rights framework as compass
The Council of Europe Framework Convention on AI is the first binding treaty placing AI within the order of human rights, democracy, and the rule of law - First binding AI treaty
The rule of law requires implementing binding legal frameworks equally, regardless of wealth, power, or influence - Binding legal frameworks
International cooperation through the exchange of good practices, interoperable approaches, and capacity building is essential to advance trustworthy AI globally - International cooperation for trustworthy AI
Access to AI should be treated not as a privilege to be earned but as a basic right to be enjoyed, with global AI capacity-building to reduce fragmented readiness - AI access as a right
Uruguay's commitment to gender-responsive AI governance and the Global Partnership for Human Rights represents a multi-stakeholder platform connecting efforts on AI's cross-cutting impacts - Multi-stakeholder human rights platform
Access Now calls for a halt to AI tools facilitating violations of international humanitarian law and human rights law, especially in conflict contexts, alongside binding global governance mechanisms - Halt to IHL-violating AI
Geopolitical competing interests impede global AI governance, and leveraging negotiation tools to shift from positional bargaining to integrative negotiation is essential to forge common ground - Negotiation as governance tool
These intervenants share a detailed and evidence-based perspective on the gendered harms of AI, arguing that technology-facilitated gender-based violence is a systemic issue requiring mandatory governance responses. Bahous cited that 44% of assessed AI systems demonstrate gender bias and that up to 99% of online deepfakes target women , while Dad documented over 23,000 cases of technology-facilitated abuse through her organisation's helpline . Eghobamien-Mshelia argued that CEDAW requires states to achieve substantive equality and tackle structural barriers in AI . Smyth stated that AI-amplified disinformation campaigns force women and girls to self-censor and withdraw from online spaces . Brant described Brazil's decree prohibiting synthetic intimate images based on real third parties . All agreed that these harms are not niche safety issues but fundamental human rights violations requiring mandatory governance frameworks. These intervenants converge on the view that the evidence base for AI's human rights impacts is critically insufficient and that current evaluation frameworks are misaligned with societal needs. Livingstone noted that the evidence for human rights violations is currently much more compelling than the evidence for human rights benefits in many settings . Ottley argued that there is an evaluation mismatch between engineering metrics and societal questions, and a significant evidence gap regarding how AI affects people's decision-making, children's learning, and clinical decisions . Park called for common and well-designed standards to create a common baseline for AI risk assessment . Dad argued that civil society organisations documenting harms are the earliest sensors of AI-related harm but remain unfunded and precarious, treated as anecdote rather than evidence . These intervenants, predominantly from or representing the Global South and civil society, share a structural critique of current AI governance as extractive and exclusionary. Kakkar argued that the concentration of data centres and extraction of minerals predominantly occurs in sites of existing inequality in the global south, and raised fundamental questions of how economic value is accrued far from the communities most impacted . Chetty argued that prevailing governance frameworks extract value from individuals, communities, and nations without reciprocal benefit, input, or control . Shahani called for publicly financed, regionally hosted capacity to evaluate AI systems before deployment and noted that indigenous and traditional knowledge is being absorbed into training data without consent . Bonyo highlighted that 51% of AI governance conversations happen in Geneva, effectively locking out the rest of the world . The APC representative argued that communities are not the last mile of AI but the first mile . These intervenants share the view that young people and children must be participants in AI governance rather than passive subjects of protection. Paullier argued that young people are the most users of AI yet almost never the decision-makers, and that meaningful spaces must be created especially at the national level . Aerdts noted that when making policy for children and young people, they must be genuinely included in the decision-making process, and highlighted a gap where young people face issues too big for parents but too small for police . Park argued that children are AI natives who need critical thinking skills and that their voices should flow into governance discussions . Hicks referenced a survey of 1,000 children in 49 countries who said they want AI to be shaped with them, not just for them . Chappaz emphasised that children cannot be taken out of governance discussions . These intervenants share concern about AI's role in undermining the information ecosystem and enabling disinformation and hate speech with real-world consequences. Osterling argued that journalism is a keystone species of the information ecosystem and that AI systems are trained on journalistic content scraped without consent, undermining journalism's business models and public trust . Brant called for taking information integrity as part of Article 19 in its collective or social dimension, and noted that AI's impact on the economic sustainability of journalism should be a concern . Smyth argued that AI online content moderation without human oversight can amplify disinformation, disproportionately affecting women and girls . Tan cited concrete examples from Libya and the Rohingya community where AI-generated content incited hostility and abuse . These intervenants share a structural critique of AI's physical and environmental footprint as a human rights issue concentrated in already marginalised communities. Luccioni argued that while the benefits of AI can technically be global, the negative impacts in terms of water, energy, emissions, and health are very local and impact the most marginalised populations . Kakkar raised fundamental questions about the concentration of data centres and extraction of minerals predominantly in sites of existing inequality in the global south, and how economic value is accrued far from the communities most impacted . Chetty argued that the planetary and sustainability impacts of AI must be brought into view alongside the development and prosperity of local populations .
It was somewhat unexpected that a representative of a major commercial music corporation (Universal Music Group) and representatives of civil society organisations and environmental researchers converged on transparency as a fundamental requirement. Baruch, representing Universal Music Group, stated that without transparency there can be no accountability, no trust, and no meaningful collaboration, and called for creators to know when and how their works are used to develop AI models . Luccioni, from an environmental research perspective, described transparency as a fundamental human right she has been fighting for, enabling users to make informed choices . Dad, from a digital rights civil society perspective, called for the evidence problem to be addressed by resourcing civil society organisations as early warning systems . Park, representing a major telecommunications company, called for common and well-designed standards for AI risk assessment . Despite representing very different constituencies with often competing interests, all converged on transparency as the foundational requirement for accountability.
It was notable that governments from Spain, Poland, Ireland, South Korea, Slovenia, and the Netherlands - representing different political traditions, regional blocs, and levels of AI development - all explicitly rejected the innovation-versus-regulation framing. López Agueda framed AI governance as a choice between digital rights and oligarchy . Kownacki stated that Poland's answer is not to halt innovation but to keep the human being at the core . Smyth argued that Ireland firmly believes human rights must be at the core of AI governance . Cha stated that South Korea considers access to AI not as a privilege but as a basic right . Pipan argued that trust is not only an ethical objective but a prerequisite for broader AI adoption . Aerdts presented practical Dutch tools as evidence that rights-based governance and effective AI deployment are compatible . This cross-regional governmental consensus on the compatibility of regulation and innovation was stronger than might have been anticipated given ongoing geopolitical tensions around AI governance.
It was unexpected that a representative of Universal Music Group explicitly grounded the music industry's position in international human rights law, citing Article 27 of the Universal Declaration of Human Rights and Article 15 of the ICESCR as protecting creators' moral and material interests in the age of AI . This aligned closely with the positions of human rights advocates such as Bahous, who referenced the same instruments as providing a comprehensive framework to protect rights , and Eghobamien-Mshelia, who argued that CEDAW provides an essential framework for AI governance . Lampel called for enforcing international human rights law today . The convergence of a commercial music industry representative with human rights advocates on the direct applicability of existing international human rights law to AI governance was a notable area of unexpected consensus.
The framing of AI's environmental impact as a human rights issue, rather than merely a technical or sustainability concern, represented an unexpected area of consensus. Turk noted that data centres housing AI servers are choking the environment . Luccioni argued that transparency about AI's energy consumption is a fundamental human right and that the negative environmental impacts are very local, disproportionately affecting the most marginalised populations . Kakkar raised fundamental questions about the concentration of data centres and extraction of minerals in sites of existing inequality in the global south . Lametti explicitly thanked Luccioni for underlining the human rights dimensions of climate and the climate impact of AI . Hicks noted that environmental sustainability was among the top human rights concerns identified in the participant survey . This convergence across a High Commissioner, an environmental scientist, a legal academic, a diplomat, and a session organiser on the human rights framing of AI's environmental impact was notable.
The session revealed a remarkably high level of consensus across a diverse range of intervenants — including government ministers, UN officials, civil society representatives, academics, private sector actors, and international organisation representatives — on several foundational principles of AI governance. The strongest areas of agreement were: (1) AI governance must be grounded in binding international human rights law rather than voluntary ethics; (2) regulation and innovation are complementary rather than in tension; (3) meaningful human oversight must be substantive and not nominal; (4) transparency is a fundamental requirement across all dimensions of AI; (5) children require special protection with responsibility resting on developers and deployers; (6) AI amplifies existing inequalities and requires proactive governance responses; (7) agentic AI creates unprecedented accountability challenges; and (8) affected communities must be meaningfully included in governance processes. There was also notable convergence on the need for international cooperation and binding multilateral frameworks, and on the recognition of AI's environmental impact as a human rights issue. Unexpected areas of consensus included the private sector (Universal Music Group) and civil society converging on transparency and the applicability of existing human rights law, and governments from very different political and regional contexts unanimously rejecting the innovation-versus-regulation framing.
Volker Turk argues that regulation guided by human rights is the most obvious solution and questions why it is even up for debate , while Zachary Lampel insists the rule of law requires binding legal frameworks applied equally regardless of wealth or power . Nighat Dad calls for mandatory due diligence obligations . By contrast, Ulises Gutiérrez argues that the rapidly changing landscape means governance cannot be limited to regulation alone and that what is needed is a new social contract at both national and international levels . El Fallah Seghrouchni, while not opposing regulation, emphasises that existing legal mechanisms are insufficient to address the internal and psychological effects of AI, suggesting that new accountability paradigms are needed beyond conventional regulatory approaches .
The most obvious solution, regulation guided by human rights, is right in front of our eyes - UN human rights framework as compass
The rule of law requires implementing binding legal frameworks equally, regardless of wealth, power, or influence - Binding legal frameworks
Human rights due diligence and impact assessments must be mandatory before and after AI deployment, not merely aspirational - Mandatory due diligence
Governing AI requires a new social contract at both national and international levels, not just regulation - New social contract
Agentic AI creates the most significant legal accountability challenge of the decade, as no single human is at the origin of final decisions in networks of autonomous agents - Agentic AI accountability gap
Nighat Dad argues that assessments must be repeated whenever capabilities materially change, including increases in agentic function, and that a one-time assessment at launch is structurally inadequate because harms emerge in deployment, interaction, and iteration . El Fallah Seghrouchni focuses on the need for structured documentation of agent chains and identifiable human responsibility at the point of deployment in public services . Luccioni emphasises that agentic AI makes it harder to identify where failures originate and calls for safeguards and standards at each part of the machine . Kakkar stresses that justice systems will need to identify harms that only emerge after societal-level monitoring, suggesting a reactive as well as proactive approach . These intervenants share a concern about lifecycle governance but differ on whether the emphasis should be on pre-deployment mandatory assessment, continuous monitoring, or post-harm remedy.
Human rights due diligence and impact assessments must be mandatory before and after AI deployment, not merely aspirational - Mandatory due diligence
AI systems must be subject to structured documentation of agent chains, appointment of an identifiable responsible human, and a right to timely redress - Three accountability obligations
Agentic AI amplifies degrees of separation between users and underlying technology, making it harder to identify where failures originate - Agentic AI opacity
Justice systems must convert human rights principles into reality by ensuring accountability when AI causes harm, focusing on transparency, traceability, and effective remedy - Justice systems as accountability mechanisms
Livingstone explicitly cautions that the problem will not be solved by restricting children, and emphasises children's rights to expression, participation, education, and information in a digital age . Lametti describes Canada's proposed law that would restrict social platforms to children under 16 until proven safe, and require AI chatbots to be proven safe before exposure to children . Henriques argues that children should interact with AI systems only if proven safe and designed to respect their rights , while Kakkar raises the concern that constant surveillance of children through AI raises fundamental questions about how they grow up as democratic citizens . Park takes a different angle, arguing that since children are already AI natives, the focus should be on education and critical thinking rather than restriction . These intervenants agree children need protection but disagree on whether restriction, proof-of-safety requirements, rights-based design, or education is the primary mechanism.
There is a methodological challenge in studying children as a protected category, which partly explains the lack of evidence on AI's impact on children and requires careful navigation - Methodological barriers to child research
Canada's proposed law would require AI chatbots to be proven safe before exposure to children, with a digital commissioner to ensure compliance - Proof-of-safety legislation
Children are not a homogeneous group; indigenous children, girls, children with disabilities, and children of African descent face disproportionate impacts from gaps in AI governance - Intersectionality of child rights
AI and child also raises a fundamental point of surveillance of children - how does a child who is constantly watched and monitored grow up as a contributing member of a democratic society
Today's children are AI natives who need education and critical thinking skills to engage with AI in a balanced way, with their voices flowing into governance discussions - AI literacy for children
Nighat Dad explicitly characterises the uneven application of human rights due diligence across markets as a structural choice, not a capacity gap, noting that companies conduct meaningful assessments primarily where the law requires them to (the EU) and then deploy the same systems in the majority world without equivalent processes . Shahani, by contrast, frames the problem partly as one of capacity, calling for publicly financed, regionally hosted capacity to evaluate AI systems before deployment and open benchmarks built with and for under-resourced languages . Chetty argues that prevailing governance models are structurally inadequate because they are calibrated to high-income countries and disregard sovereignty or agency , aligning more with Dad's structural critique but framing the solution as a normative framework shift rather than enforcement of existing obligations.
Human rights due diligence is applied unevenly across markets, creating a two-tier rights regime determined by geography - Geographic inequality in due diligence
Global majority countries largely import models trained elsewhere and deploy them in high-stakes settings without the means to evaluate them, requiring publicly financed regional evaluation capacity - Regional evaluation capacity
AI governance frameworks must move beyond self-regulatory, ethics-based models to normative frameworks rooted in international human rights law - Beyond voluntary ethics
Ottley highlights a significant evidence gap, noting that while there is abundant evidence about how well AI models perform, there is very little evidence about how AI affects people's decision-making, children's learning, or clinical decisions, and that answering these questions requires longitudinal studies and interdisciplinary collaboration . Livingstone, however, argues that the evidence for human rights violations is currently much more compelling than the evidence for human rights benefits in many settings , and presents abundant documented harms to children . Dad argues that the evidence problem is fundamentally a resourcing problem and that civil society organisations have already documented harms years before they entered global policy conversations, but this documentation is treated as anecdote rather than evidence . El Fallah Seghrouchni raises a different dimension, noting that even AI researchers do not always have the tools to understand the complexity of algorithms, making accountability extremely difficult regardless of evidence availability .
There is a significant evidence gap regarding how AI affects people's decision-making, children's learning, clinical decisions, and public servants' work, requiring longitudinal interdisciplinary studies - Preuves gap in AI impact
Civil society organisations in the majority world are early sensors of AI-related harm but remain unfunded and precarious, requiring resourcing and connection to decision-making - Resourcing civil society evidence
The evidence for human rights violations is currently much more compelling than the evidence for human rights benefits in many settings where AI is being used
Agentic AI creates the most significant legal accountability challenge of the decade, as no single human is at the origin of final decisions in networks of autonomous agents - Agentic AI accountability gap
Shahani explicitly argues that compatibility between national approaches does not require uniformity, and that a common floor of rights safeguards including disclosure, contestability, and remedy can coexist with genuine pluralism above that floor . Lampel, by contrast, insists that the rule of law requires implementing binding legal frameworks equally without regard for wealth, power, or influence, implying a more uniform approach . Kownacki argues that the human factor is the common ground on which truly global governance can be built, suggesting a universal principle rather than a pluralistic framework . Chetty calls for moving beyond aspirational ethics to normative frameworks rooted in international human rights law , which implies a more binding and uniform approach than Shahani's pluralistic model.
A common floor of rights safeguards, including disclosure, contestability, and remedy, must apply to every person affected by AI - Common rights floor
The rule of law requires implementing binding legal frameworks equally, regardless of wealth, power, or influence - Binding legal frameworks
The human factor, keeping a person with the final word to understand, contest, and switch off AI decisions, is the common ground on which truly global AI governance can be built - Human factor as common ground
AI governance frameworks must move beyond self-regulatory, ethics-based models to normative frameworks rooted in international human rights law - Beyond voluntary ethics
This is unexpected because all three intervenants are broadly aligned on the need for stronger AI governance, yet they diverge significantly on the state of the evidence base. Ottley, speaking from the Independent Scientific Panel, highlights a significant evidence gap and argues that answering questions about AI's societal impact requires longitudinal studies, interdisciplinary collaborations, and careful work with protected communities . Livingstone, also from the Scientific Panel, takes a starkly different position, stating that the evidence for human rights violations is currently much more compelling than the evidence for human rights benefits . Dad argues that the evidence problem is fundamentally a resourcing problem, and that civil society organisations have already documented harms years before they entered global policy conversations, but this documentation is treated as anecdote rather than evidence . This internal disagreement within and around the Scientific Panel about the adequacy of existing evidence is unexpected given the shared institutional context and could have significant implications for the urgency and form of governance responses.
This is an unexpected disagreement because it cuts across the usual governance versus industry divide. Kakkar explicitly argues that without diffusion of power away from a handful of companies in a few jurisdictions, human rights safeguards cannot be achieved , and Chetty argues that prevailing governance models are structurally inadequate because they are driven by dominant actors . Dad characterises uneven due diligence as a structural choice, not a capacity gap . However, Baruch from Universal Music Group argues that the solution lies in freely and voluntarily negotiated agreements between creators, rights holders, and technology developers , and presents existing partnerships with major technology companies as evidence that innovation and rights protection can advance together . This represents an unexpected disagreement because Baruch's voluntary partnership model is precisely the kind of approach that Kakkar, Dad, and Chetty argue is structurally insufficient to address power imbalances.
This is an unexpected disagreement because it challenges the legitimacy of the very forum in which the dialogue is taking place. Bonyo explicitly calls for algorithmic openness around visa processes, noting that 51% of AI governance conversations happen in Geneva and that the rest of the world is effectively locked out because they cannot access visas . She names a specific absent participant, Freedom Wangi, an AI worker who was unable to get a visa . This implicitly challenges the Co-moderator's procedural commitment to broad participation and López Agueda's call for inclusive global dialogue , by pointing out that the structural conditions of the dialogue itself reproduce the exclusions that the dialogue is meant to address. This meta-level disagreement about the inclusivity of the governance process itself was unexpected in a formal UN dialogue setting.
This is an unexpected disagreement because while Luccioni argues that transparency about AI's environmental footprint is a fundamental human right and dedicates her entire intervention to this issue , Turk mentions data centres choking the environment only briefly as one item in a list of AI harms , and Hicks reports that in the participant survey, environmental sustainability ranked fourth among human rights concerns, behind accountability and rule of law, impact on children, and surveillance . This suggests a significant gap between Luccioni's framing of environmental impact as a core human rights issue and the broader dialogue's treatment of it as a secondary concern. The survey results presented by Hicks implicitly reveal that participants themselves do not prioritise environmental sustainability as highly as Luccioni's argument would suggest they should.
The dialogue reveals a broad consensus on the need for human rights-based AI governance, but significant disagreements on the form, urgency, and scope of governance mechanisms. Key fault lines include: (1) binding regulation versus broader governance frameworks and social contracts; (2) whether existing evidence of harm is sufficient to justify immediate action or whether more rigorous longitudinal evidence is needed; (3) whether geographic unevenness in due diligence is a structural choice or a capacity gap; (4) how to protect children through restriction versus rights-based design versus education; (5) whether universal binding standards or a common floor with pluralism above it is the appropriate model; and (6) whether the environmental impact of AI is a core human rights issue or a secondary concern. There is also an unexpected meta-level disagreement about whether the governance dialogue itself reproduces the exclusions it seeks to address, raised by Bonyo's challenge regarding visa algorithms .
All five intervenants agree that AI governance is fundamentally a human rights issue and that gendered harms from AI are serious and systemic. Turk states that AI is fuelling disinformation and enabling bias including from a gender perspective , Bahous documents that 44% of assessed AI systems demonstrate gender bias and up to 99% of deepfakes target women , Dad documents over 23,000 cases of technology-facilitated abuse disproportionately against women , Eghobamien-Mshelia argues CEDAW requires states to achieve substantive equality in AI governance , and Smyth calls for human rights safeguards to prevent technology-facilitated gender-based violence . However, they differ on the specific mechanisms: Bahous emphasises mandatory impact assessments and workforce representation , Dad focuses on uniform due diligence obligations across all markets , Eghobamien-Mshelia emphasises CEDAW's existing framework , and Smyth focuses on content moderation and disinformation .
AI governance must be treated as a fundamental human rights issue, not merely a technical one, with international human rights law providing a binding legal framework - Human rights as binding framework Gender and child rights impact assessments must be mandatory, conducted before deployment with affected communities participating - Mandatory gender impact assessments Technology-facilitated gender-based violence cannot be treated as a niche safety issue; any due diligence framework that does not address it has written half the population out of its protection - TFGBV as systemic issue CEDAW provides an essential framework requiring states to achieve substantive equality and tackle structural barriers in AI governance - CEDAW as AI governance framework AI-amplified disinformation campaigns and hate speech force women and girls to self-censor, undermining their democratic participation - Disinformation and democratic exclusion
All four intervenants agree that accountability for agentic AI is a critical and urgent challenge. Arias Arzeno argues that no public institution can justify a decision by saying the system told it to do so , El Fallah Seghrouchni identifies agentic AI accountability as the most significant legal challenge of the decade , Luccioni argues that agentic AI amplifies degrees of separation making it harder to identify where failures originate , and Kakkar highlights the transnational cross-border governance gap as the biggest challenge for justice systems . However, they differ on solutions: El Fallah Seghrouchni proposes structured documentation of agent chains and identifiable human responsibility , Luccioni calls for standards at each part of the machine , Arias Arzeno focuses on keeping responsibility with people and institutions , and Kakkar emphasises the need to shift the burden of proof to companies .
Justice systems must convert human rights principles into reality by ensuring accountability when AI causes harm, focusing on transparency, traceability, and effective remedy - Justice systems as accountability mechanisms AI systems must be subject to structured documentation of agent chains, appointment of an identifiable responsible human, and a right to timely redress - Three accountability obligations Agentic AI amplifies degrees of separation between users and underlying technology, making it harder to identify where failures originate - Agentic AI opacity Justice systems will have to grapple with the biggest question, which is the transnational cross-border governance gap
All four intervenants agree that young people and children must be meaningfully included in AI governance rather than merely being subjects of protection. Paullier argues that young people are the most users of AI yet almost never the decision-makers , Aerdts emphasises including young people in decision-making processes alongside parents and educators , Park argues children's voices should flow into governance discussions , and Hicks cites a survey of 1,000 children in 49 countries who said they want AI shaped with them, not just for them . However, they differ on the mechanism: Paullier emphasises national-level participation structures , Aerdts focuses on UNICEF youth panels and parental inclusion , Park focuses on school programmes connected to NGOs , and Hicks references a dedicated survey methodology .
Meaningful spaces for young people to engage in AI governance must be created at the national level, not only globally, as young people best understand both opportunities and harms - National youth participation When making policy for children and young people, they must be genuinely included in the decision-making process alongside parents and educators, not left to face issues too big for parents but too small for police - Genuine youth inclusion in policy Today's children are AI natives who need education and critical thinking skills to engage with AI in a balanced way, with their voices flowing into governance discussions - AI literacy for children A survey of 1,000 children in 49 countries found they want AI to be shaped with them, not just for them, and they want it to respect their rights rather than simply being shielded from it - Children want agency in AI governance
All four intervenants agree that the negative impacts of AI infrastructure are concentrated in the global south and among marginalised communities, while benefits accrue elsewhere. Luccioni argues that while AI benefits can be global, negative environmental impacts are very local and disproportionately affect marginalised populations , Kakkar notes that data centres and mineral extraction are concentrated in sites of existing inequality in the global south , Chetty argues that prevailing governance models extract value from individuals, communities, and nations without reciprocal benefit , and the APC representative argues that communities need to own and govern their own connectivity infrastructure . However, they differ on solutions: Luccioni focuses on energy transparency and labelling , Kakkar focuses on shifting from individual to group rights , Chetty proposes the Just AI normative framework , and the APC representative focuses on community-centred connectivity infrastructure .
Data centres make the negative impacts of AI very local in terms of water, energy, emissions, and health, disproportionately affecting the most marginalised populations - Local environmental harms We also see a concentration of data centres and extraction of minerals, predominantly in sites where there is already a lot of inequality in the global south The separation of data governance and AI governance in international forums obscures the foundational data justice that must inform all AI systems - Data justice inseparable from AI governance Community-centred connectivity is a prerequisite for equitable AI participation; communities are not the last mile but the first mile of AI - Communities as first mile
All four intervenants agree that AI-generated disinformation and the erosion of the information ecosystem pose serious human rights risks. Osterling argues that journalism is a keystone species of the information ecosystem and that AI systems are trained on journalistic content scraped without consent , Brant calls for information integrity as a collective right encompassing the need for consistent, accurate, and reliable information , Smyth argues that AI content moderation without human oversight amplifies disinformation disproportionately affecting women and girls , and Tan presents concrete examples of AI-generated hate speech creating protection risks for refugees in Libya and the Rohingya . However, they differ on the primary focus: Osterling emphasises the economic sustainability of journalism and public digital infrastructure , Brant focuses on platform liability and shared responsibility , Smyth focuses on the gendered dimension , and Tan focuses on the protection risks for displaced and stateless people .
Journalism is a keystone species of the information ecosystem; AI systems are trained on journalistic content scraped without consent or compensation, undermining journalism's business models - Journalism as critical infrastructure Information integrity must be understood in its collective or social dimension as part of the right to access accurate and reliable information, and AI's impact on journalism's economic sustainability must be addressed - Information integrity as collective right AI tools used for online content moderation without human oversight can amplify disinformation, disproportionately affecting women and girls - Automated moderation amplifies disinformation AI-generated disinformation and online hate speech have created direct protection risks for refugees and displaced people, as seen in Libya and among the Rohingya - AI hate speech as protection risk
- AI governance must be grounded in international human rights law as a binding legal framework, not merely aspirational ethics or voluntary self-regulation, with regulation viewed as a prerequisite for public trust rather than an obstacle to innovation.
- Human rights due diligence and impact assessments must be mandatory across the full AI lifecycle — from design through deployment and monitoring — and must apply uniformly across all markets and geographies, not only where regulation compels it.
- Agentic AI represents the most significant legal accountability challenge of the decade, as networks of autonomous agents make it extremely difficult to identify which node caused harm and who bears responsibility, requiring new accountability paradigms including structured documentation of agent chains and appointment of identifiable responsible humans.
- AI is disproportionately harming women and girls through algorithmic bias, deepfakes, technology-facilitated gender-based violence, and exclusion from AI governance; 44% of assessed AI systems demonstrate gender bias, up to 99% of online deepfakes target women, and only 24 of 138 countries reference gender in their national AI strategies.
- Children's rights must be a cross-cutting consideration in all AI governance frameworks, with safety built into systems from the start; evidence shows exponentially rising AI-generated child sexual abuse material, consistent failures of AI companion products to meet basic safety standards, and up to one child per classroom in 11 global south countries reporting AI-generated sexual deepfakes of themselves.
- Power over AI is dangerously concentrated in a handful of companies and a few countries, deepening global inequalities; global majority countries largely import models trained elsewhere and deploy them in high-stakes settings without the means to evaluate them, while civil society organisations in the majority world that document AI harms remain chronically underfunded.
- The negative environmental impacts of AI — including water and energy consumption, emissions, and health harms from data centres — are highly localised and disproportionately affect the most marginalised populations, yet transparency about these impacts remains severely lacking even for international organisations.
- There is a critical evaluation mismatch between engineering metrics (speed, accuracy, capability) and the societal questions AI governance must answer (whether human rights are protected, institutions remain accountable, and society is better off); society must define what success looks like and science must measure it.
- Young people are the most users of AI and will live longest with the consequences of decisions made today, yet they are almost never included as decision-makers; meaningful youth participation must be created at the national level, not only in global forums.
- AI is threatening the information ecosystem by fuelling disinformation, undermining journalism's business models through unconsented scraping of journalistic content, and enabling AI-generated hate speech that creates direct protection risks for refugees and displaced people.
- Visa and border management algorithms already embody human rights concerns, with opaque algorithmic processes restricting who can participate in AI governance discussions; 51% of AI governance conversations occur in Geneva while the rest of the world is effectively excluded.
- The freedom of thought, long encompassed within freedom of expression, must be reinterpreted in the context of AI threatening cognitive autonomy through micro-targeting, manipulation, and psychological profiling, including of children.
“Before a new drug reaches the market, it undergoes years of clinical trials, regulatory changes, review and market authorization. And this process can last between 10 and 15 years. Many drugs fail due to lack of effectiveness or safety concerns. And even with all these safeguards, mistakes can still happen. Are we taking the same care with artificial intelligence?”
“It reminds me of the protagonist K in Franz Kafka's book, The Castle. K arrives in a new village as a land surveyor and spends the rest of the novel trying to understand a system that remains inaccessible and unaccountable. Are we like K, trapped in a system of opaque power in which we are losing our agency? AI is about power over data, markets, resources and information, but to what end?”
“The unofficial slogan of the tech and AI industry is bigger, faster, better. I would rather advocate for smarter, kinder, wiser.”
“The concept of something exogenous compared to something endogenous... When you use algorithms that manipulate a child's psychology, that's not something you can measure. That's not something that you can even perceive. Therefore, the internal nature of the child's psychology and the internal nature of the effects of AI create significant issues at the level of the rights and the legal mechanisms that we have at our disposal. How can we audit our neurons? How can we understand that our brains have been transformed?”
“Accountability in agentic systems is probably the most significant legal challenge this decade because we have a network of AI agents that are autonomous individually and there's no human that is at the origin of the final decision. So when we want to make an agentic network accountable, we don't know which of the agents is accountable and we don't know how to distribute this accountability amongst the different agents.”
“The evidence for the violations is currently much more compelling than the evidence for human rights benefits in many settings where AI is being used... We identified also the opportunity costs, the failure to realise the AI benefits is also a risk to human rights.”
“Across 11 global south countries, up to one child per classroom reported that AI was used to make sexually explicit deep fakes of them. Reports of AI-generated child sexual abuse material to the US cyber tip line NCMEC are rising exponentially. Child sexual abuse material is documented in some training sets and offenders can now fine-tune open models on child sexual exploitation.”
“Human rights due diligence, as most AI companies practice it today, does not really meet the standard of UN guiding principles on business and human rights. It happens after co-design decisions are made. It happens where regulation compels it. And it happens without the participation of the people actually affected. What we have in most cases is not due diligence. It's really documentation... Companies conduct meaningful assessments where the law requires them to do, primarily in the EU. Then they deploy the same system in the majority world with really no equivalent process. And I would say this is a structural choice, not a capacity gap.”
“Society has to decide what success looks like, and science has to determine how to measure it. And together, we have to build the evidence that tells us whether we're actually achieving it. So have we agreed on what success looks like?”
“The evidence problem is a resourcing problem. Civil society organisations or digitalised organisations in the majority world are the earlier sensors of AI-related harm. We have documented synthetic intimate imagery targeting women years before it entered global policy conversations. But this documentation is unfunded, precarious, and treated as anecdote rather than evidence. If this dialogue wants an early warning system for AI harms, it already exists. It needs to be resourced and connected to decision-making.”
“When we decide what an algorithm may do to a human being, we decide what we believe a person is worth... Some choices a machine must never make on its own. Poland knows. It knows from its own history what it costs when people lose control over the systems that decide their fate.”
“51% of AI governance conversations this year happen in Geneva. And that means that the rest of the world were ideally locked out because they could not access visas to this place. So I want to ask us to reconsider what that means... I want to ask the global north to reconsider the kind of algorithms that we outsource to determine whether people travel here or not.”
How can we audit the effects of AI on human cognition and psychology, particularly for children?
The Minister raised the concept of cognitive rights and the difficulty of measuring psychological manipulation by algorithms. She noted that even AI researchers lack tools to fully understand the complexity of these systems, making it critical to develop methods for assessing internal cognitive impacts of AI, especially on children.
How should accountability be distributed across networks of autonomous AI agents when no single human is at the origin of a final decision?
Multiple intervenants highlighted that agentic AI systems create a new and unresolved legal challenge: when a network of agents each contribute incrementally to a harmful outcome, it is unclear which agent or human principal bears responsibility. This requires a new accountability paradigm, including structured documentation of agent chains and identifiable human oversight.
What longitudinal studies and interdisciplinary research are needed to understand how AI is actually affecting children's learning, mental health, and development?
Both panellists noted a significant evidence gap: while there is abundant data on AI model performance, there is very little rigorous evidence on how AI affects children's education, emotional well-being, and cognitive development. Longitudinal studies and partnerships with protected communities are needed.
How can human rights due diligence be made mandatory and uniform across all markets where an AI system is deployed, not just in jurisdictions with strong regulation?
The founder of Digital Rights Foundation highlighted a structural two-tier rights regime where meaningful human rights assessments are conducted in the EU but not in the Global South. Further research and policy development is needed to establish uniform due diligence obligations regardless of geography.
How do we define and measure 'success' for AI systems in terms of human rights, accountability, and societal well-being, rather than purely technical benchmarks?
The scientific panellist argued that society and science are asking fundamentally different questions about AI. Society needs to agree on what success looks like in human rights terms, and science must then develop the tools to measure it. Without this alignment, governance frameworks risk optimising for the wrong outcomes.
How can cognitive rights be legally defined and protected in the context of AI systems that manipulate psychological states?
Referencing Chile's early legislative attempt to introduce cognitive rights, the Minister raised the need for international frameworks that protect individuals from algorithmic psychological manipulation. This remains an underexplored area of law requiring further research and normative development.
What mechanisms can ensure that children are meaningfully included in AI governance decision-making processes?
Multiple intervenants noted that children are among the most frequent users of AI yet are largely absent from governance discussions. Further work is needed to design inclusive participation mechanisms that allow children's voices to genuinely shape AI policy, not merely be consulted after decisions are made.
How can the environmental and human rights impacts of AI data centres be made transparent and measurable, particularly for marginalised communities near those facilities?
The Sustainable AI Group co-founder noted that even international bodies like the IEA struggle to obtain energy and emissions data from member countries. Research is needed into standardised transparency and reporting mechanisms for the environmental footprint of AI, with particular attention to health impacts on local and marginalised populations.
How can justice systems be equipped with the technical capacity, expertise, and cross-border enforcement tools needed to hold AI actors accountable?
Both intervenants identified significant gaps in judicial capacity to handle AI-related harms, including the difficulty of gathering evidence, the transnational nature of AI supply chains, and the concentration of power in a handful of companies. Further research is needed into how courts can access information, shift burdens of proof, and enforce decisions across jurisdictions.
How can gender-responsive indicators and monitoring systems be developed to measure whether women are participating in and benefiting equally from AI, and are protected from AI-facilitated harms?
Both intervenants noted that gender equality remains largely invisible in AI governance frameworks, with only a small minority of national AI strategies including substantive gender-responsive provisions. Developing robust measurement tools and indicators is essential to ensure accountability under frameworks such as CEDAW.
What are the implications of AI-powered algorithmic management for gig workers, particularly in the Global South, and how can existing labour protections be extended to them?
The Lawyers Hub founder highlighted gig workers managed by algorithms in Kenya, while the Tech Global Institute speaker noted that data and platform workers, disproportionately women, lack labour protections. Further research is needed into how algorithmic management affects workers' rights and how cross-border labour protections can be enforced.
How can the separation between data governance and AI governance in international forums be addressed, given that data justice is foundational to equitable AI?
The Research ICT Africa executive director argued that treating data governance and AI governance as separate issues obscures the foundational injustices embedded in AI systems. Further research and policy work is needed to integrate these frameworks, particularly to protect the data sovereignty of Global South nations.
How can visa and border management algorithms be made transparent and subject to human rights scrutiny, given that they already determine who can participate in global AI governance discussions?
The co-chair noted that 51% of AI governance conversations happen in Geneva, yet many affected stakeholders cannot attend due to visa denials that may themselves be algorithmically influenced. This raises urgent questions about transparency and accountability in the very systems that gatekeep participation in governance.
How can indigenous and traditional knowledge be protected from being absorbed into AI training data without consent, recognition, or return to communities?
The Tech Global Institute speaker raised the issue of community-led data stewardship as a form of human oversight, noting that indigenous knowledge is being extracted without consent. Further research is needed into legal and technical mechanisms to protect such knowledge and ensure communities benefit from its use.
What public digital infrastructure, including cloud services and journalistic stacks, is needed to prevent AI governance and information ecosystems from being controlled by a handful of hyperscalers?
The Global Forum for Media Development representative argued that journalism is a keystone species of the information ecosystem and that AI systems trained on journalistic content without consent or compensation undermine democratic accountability. Further research is needed into public interest AI infrastructure and industrial policies that support media sustainability.
How can AI systems used in asylum, border management, and refugee contexts be made explainable and contestable for people who may not know how decisions affecting them were reached?
The UNHCR Director General highlighted that forcibly displaced and stateless people face compounded barriers to challenging AI-assisted decisions in high-stakes contexts such as asylum procedures. Research is needed into accessible explanation and redress mechanisms that function in humanitarian settings.
How can the mental health toll on AI data labellers and content moderators, particularly in the Global South, be documented, addressed, and incorporated into AI governance frameworks?
The co-chair referenced the Africa AI Governance Index and the documented mental health impacts on workers who train AI models. This remains an underresearched area requiring both empirical investigation and policy responses that extend human rights protections across the full AI value chain.
How can multilateral negotiation processes be redesigned to move from positional bargaining to integrative negotiation in order to forge common ground on global AI governance?
The Institute for Global Negotiation senior fellow argued that geopolitical competition is a major impediment to global AI governance and that innovative negotiation formats are needed to reconcile competing interests. Further research into process design and negotiation methodologies is needed to make global AI governance achievable.
How can AI energy efficiency labelling and standardised environmental impact disclosures be developed and mandated to enable informed choices by users, organisations, and governments?
The Sustainable AI Group co-founder described her AI Energy Score Project as a stepping stone towards transparency, but noted that operationalising such standards faces significant pushback. Further research and policy work is needed to develop universally applicable, comparable metrics for the environmental cost of AI systems.
How can the evidence gathered by civil society organisations in the Global South about AI-related harms be resourced, formalised, and connected to scientific and policy decision-making processes?
The Digital Rights Foundation founder argued that civil society organisations are early sensors of AI harm but their documentation is unfunded and treated as anecdote rather than evidence. Research is needed into how to institutionalise and resource this knowledge so it can inform scientific consensus and policy in a timely manner.
What are the methodological challenges of studying the impact of AI on children as a protected research category, and how can these be navigated without weakening ethical safeguards?
The scientific panellist noted that children are a protected category in research ethics, which limits the studies that can be conducted and contributes to the evidence gap on AI's impact on children. Further work is needed to develop ethical methodologies that allow rigorous research while maintaining appropriate protections.
How can AI governance frameworks be designed to address the concentration of power in a handful of companies and jurisdictions, and to enable Global South nations to become co-creators rather than passive consumers of AI?
Multiple intervenants identified the concentration of AI development in a few companies and countries as a structural barrier to equitable governance. Research is needed into public interest alternatives, regional AI capacity building, and governance models that diffuse power and enable meaningful participation by Global South actors.
How can AI governance ensure that community-centred connectivity, particularly for indigenous, rural, and underrepresented language communities, is treated as a prerequisite for equitable AI participation rather than an afterthought?
The Association for Progressive Communications representative argued that meaningful AI governance requires communities to own and manage their own connectivity infrastructure. Further research is needed into how community-led digital infrastructure can be integrated into AI governance frameworks as a foundational human rights requirement.