The Monoculture Problem in Artificial Intelligence

Sonja Schmer-Galunder s'appuie sur l'exemple historique de la monoculture forestière allemande pour illustrer comment l'optimisation d'un système selon un seul critère — la production de bois — par l'élimination de toute diversité conduit inévitablement à un effondrement systémique. Elle établit un parallèle direct avec l'IA, en soutenant que le manque de diversité dans les modèles et leurs sorties rend à la fois la société humaine et les modèles eux-mêmes moins résilients et plus fragiles.

Elle décrit comment, au début du siècle dernier en Allemagne, des arbres ont été plantés en positions géométriques parfaites afin de maximiser la production de bois et de faciliter la taxation, tandis que toute la végétation basse, les buissons et les insectes étaient éliminés . Cette approche a bien fonctionné pendant environ 100 ans, maximisant les revenus, mais a finalement conduit à l'effondrement total et à la mort de la forêt . Elle établit explicitement l'analogie avec l'IA, mettant en garde contre les risques de défaillances corrélées lorsque les modèles partagent des données d'entraînement, des langues et des poids similaires .

Sonja Schmer-Galunder soutient que la crise financière de 2007-2009 constitue une analogie puissante pour illustrer les dangers de la monoculture de l'IA : la dépendance à un seul modèle mathématique défaillant, partagé par l'ensemble des institutions financières, a anéanti d'immenses richesses. Le modèle avait éliminé par optimisation la variabilité même qui aurait permis au système d'absorber les chocs, le rendant ainsi non résilient.

Elle indique qu'entre 2007 et 2009, les États-Unis ont perdu 11 000 milliards de dollars de patrimoine des ménages en raison d'une crise financière reposant sur un seul modèle mathématique . Toutes les institutions financières supposaient que les prix de l'immobilier étaient corrélés aux conditions économiques locales, alors qu'ils étaient en réalité devenus corrélés aux normes d'octroi de crédits hypothécaires que les modèles ne mesuraient pas . Elle fait référence aux travaux de Nassim Taleb sur la façon dont les marchés sont devenus non résilients en éliminant par optimisation toute variabilité .

Sonja Schmer-Galunder s'appuie sur le processus biologique du développement embryonnaire pour soutenir qu'une croissance saine ne repose pas sur la prolifération ou la taille, mais sur la différenciation et l'intégration de la différence. Elle suggère que ce principe — selon lequel la maturation implique spécialisation et interdépendance — devrait guider notre réflexion sur le développement de l'IA et la diversité.

Elle explique que dans les premières phases de la croissance embryonnaire, la phase initiale est marquée par la prolifération cellulaire, mais que la véritable maturation correspond à la différenciation : les cellules se spécialisent, établissent des relations et forment des systèmes interdépendants . Elle conclut que, dès les origines de la vie, un développement sain est synonyme d'intégration de la différence, et non de simple croissance en taille .

Sonja Schmer-Galunder soutient que le biais occidental des modèles d'IA produit des résultats culturellement inadaptés à d'autres contextes, même s'ils ne sont pas catastrophiquement nuisibles. Elle s'appuie sur des exemples concrets pour illustrer comment les modèles entraînés principalement sur des données occidentales ne tiennent pas compte des réalités vécues par les populations d'autres régions du monde.

Elle donne des exemples de sorties d'IA culturellement inappropriées, comme la recommandation d'activités de pique-nique dans des pays où les températures atteignent 50 degrés et où personne ne fait de pique-nique, ou la suggestion de poésie inspirée du chant des oiseaux dans des pays où les oiseaux sont considérés comme une nuisance . Elle mentionne également ses travaux avec Google sur un jeu de données d'évaluation appelé AntroBench, conçu pour fournir des évaluations culturelles des modèles d'IA .

Sonja Schmer-Galunder identifie un cercle vicieux dans le débat sur l'inclusion des données : d'un côté, les pays risquent de voir leurs données extraites sans bénéfice en retour ; de l'autre, refuser de partager ces données risque d'entraîner la perte définitive de langues et de cultures en danger. Cette tension est particulièrement aiguë pour les données orales, plus difficiles à collecter et plus facilement perdues.

Elle décrit le dilemme dans lequel des pays qui cèdent leurs données gratuitement peuvent se voir proposer un produit en retour à titre onéreux, soulevant des préoccupations quant à la colonisation des données . À l'inverse, certains pays peuvent souhaiter que leurs données soient incluses précisément pour en éviter la disparition, notamment pour les traditions orales, plus difficiles à saisir et plus susceptibles de s'effacer .

Sonja Schmer-Galunder soutient que la culture de l'extraction des données n'est pas un problème périphérique, mais qu'elle est ancrée aux fondements mêmes du développement de l'IA, comme en témoignent la numérisation massive de livres et la collecte de données personnelles sans consentement explicite, y compris au sein des sociétés occidentales. Elle s'interroge sur la manière dont cette culture profondément enracinée peut être transformée, en particulier pour le Sud global.

Elle note que Stuart Russell, intervenant lors d'un panel précédent, a reconnu que chaque livre jamais écrit a été numérisé et intégré dans des modèles d'IA, ce qui, bien que représentant un volume important de données, ne résout pas le problème de la diversité, le contenu restant majoritairement en anglais . Elle observe également que, même au sein des cultures occidentales, les individus n'ont pas été consultés avant que leurs données soient incorporées dans des modèles d'IA .

Sonja Schmer-Galunder soutient que les sommets de diplomatie technologique constituent un mécanisme indispensable pour doter les pays du Sud global des compétences de négociation nécessaires pour traiter avec des entreprises technologiques qui exercent désormais un pouvoir comparable à celui des États. Elle présente cela non pas simplement comme le fait d'avoir voix au chapitre, mais comme le développement d'une véritable capacité diplomatique.

Elle fait référence à un sommet mondial sur la diplomatie technologique - décrit comme le deuxième sommet mondial pour la diplomatie technologique - visant à doter les pays du Sud global non seulement d'une voix, mais aussi de véritables compétences de négociation et d'outils diplomatiques pour négocier les conditions avec des entreprises technologiques qui se comportent comme des acteurs étatiques .

Sonja Schmer-Galunder établit une distinction qualitative entre les formes réversibles et irréversibles d'effondrement systémique, en soutenant que la perte de diversité épistémique et culturelle due à la monoculture de l'IA pourrait être irréversible d'une manière que ne le sont pas les crises financières. Elle illustre ce propos en opposant le rétablissement des marchés financiers à la disparition définitive des forêts en monoculture.

Elle souligne que si les marchés financiers se sont redressés après la crise de 2008, la forêt en monoculture, elle, ne s'est jamais rétablie, illustrant ainsi une distinction qualitative fondamentale entre ces deux types d'échec systémique . Elle avertit que si les conditions actuelles ne permettent pas une diversité suffisante, les sociétés futures pourraient perdre la capacité d'adaptation nécessaire pour faire face aux chocs extérieurs, ce qui constituerait un préjudice potentiellement irréversible .

Supheakmungkol Sarin soutient que les modèles d'IA développés aux États-Unis ou en Chine à partir de données majoritairement occidentales sont fondamentalement inadaptés pour répondre de manière appropriée aux contextes culturels et linguistiques sous-dotés en ressources, ce qui crée des risques significatifs en matière de sûreté et de sécurité. Étant donné que ces modèles sont conçus pour répondre à des questions dans un contexte culturel occidental, leurs résultats dans d'autres contextes seront inappropriés, voire préjudiciables.

Il explique que les modèles sont actuellement développés aux États-Unis ou en Chine à partir de données dominantes et ne seront donc pas conçus pour répondre de manière appropriée à d'autres contextes . Il affirme que, dans la plupart des cas, les résultats seront orientés vers des probabilités dominantes adaptées à d'autres contextes, et que cela crée des problèmes de sûreté et de sécurité, car le modèle n'est pas conçu pour répondre aux besoins des communautés sous-dotées en ressources .

Supheakmungkol Sarin souligne que sur environ 7 000 langues dans le monde, seules une centaine sont représentées dans les modèles d'IA actuels, ce qui signifie que la grande majorité du patrimoine linguistique et culturel mondial est totalement absente. Il insiste sur le fait que les langues ne sont pas de simples outils de communication, mais des vecteurs de modes de pensée, de valeurs et de cultures distincts.

Il fait référence à une discussion tenue lors de la Tech Diplomacy Conference à Paris, au cours de laquelle la question de la représentation des langues dans les modèles d'IA a été soulevée, notant que sur environ 7 000 langues, seule une centaine sont représentées dans les modèles . Il souligne que les langues absentes véhiculent non seulement un contenu linguistique, mais aussi des modes de pensée, des valeurs et des cultures distincts qui sont totalement ignorés .

Supheakmungkol Sarin soutient que la solution à la sous-représentation culturelle dans l'IA ne réside pas dans un ajustement a posteriori ou dans la localisation, mais dans l'intégration de données, de modes de pensée et de valeurs culturelles diversifiés dès la phase même de conception du développement des modèles. Il affirme que la localisation — permettre à un modèle de s'exprimer dans une langue — n'équivaut pas à une véritable représentation culturelle.

Il soutient que la manière de résoudre ce problème n'est pas d'affiner le modèle à un stade ultérieur ou de le localiser, mais de veiller à ce que les données de cultures diverses soient représentées lors du développement du modèle lui-même, dès la phase de conception . Il illustre l'insuffisance de la localisation en faisant remarquer qu'un modèle peut s'exprimer dans une langue tout en continuant à représenter l'idéologie ou le contexte d'une autre culture .

Supheakmungkol Sarin soutient que les communautés doivent d'abord s'engager dans une démarche de design thinking — en identifiant les données, la langue et les valeurs culturelles qu'elles souhaitent voir représentées — avant de contribuer au développement des modèles. Le simple ajout de données supplémentaires sans cette réflexion préalable ne permet pas de résoudre le problème fondamental de la représentation culturelle erronée.

Il affirme que les communautés doivent partir d'une démarche de design thinking : identifier quelles données représentent leur communauté et leur culture, et comment intégrer ces connaissances dans un modèle . Il oppose cette approche à la démarche actuelle qui consiste simplement à tenter d'intégrer davantage de données et à les faire fonctionner, en soutenant que la seule maîtrise d'une langue ne suffit pas à résoudre le problème de la représentation culturelle .

Muhammadou Kah soutient qu'une part importante des savoirs précieux dans de nombreuses régions du monde, notamment en Afrique, est orale plutôt qu'écrite, ce qui rend leur intégration dans les modèles d'IA particulièrement difficile mais absolument essentielle. L'exclusion de ces savoirs oraux signifie que des corpus entiers de connaissances culturelles, sectorielles et patrimoniales sont absents des systèmes d'IA.

Il souligne qu'un grand nombre de savoirs utiles dans sa région du monde ne sont même pas écrits, soulevant la question de la manière dont les données verbales et visuelles peuvent s'intégrer dans les modèles d'apprentissage . Il insiste sur le fait que ces savoirs oraux couvrent des domaines sectoriels tels que la santé, l'agriculture, la sagesse et les valeurs, et qu'ils doivent être intégrés dans les modèles d'IA .

Muhammadou Kah prend l'exemple du Cameroun, qui compte plus de 200 langues, pour illustrer que l'ampleur de la diversité linguistique et culturelle au sein d'une seule nation dépasse largement ce que les modèles d'IA actuels sont capables de saisir. Chacune de ces langues porte un patrimoine culturel distinct et des savoirs sectoriels qui doivent être intégrés dans les systèmes d'IA.

Il cite le Cameroun en exemple, notant qu'il possède plus de 200 langues, chacune représentant une culture et un patrimoine distincts avec des savoirs qui leur sont propres . Il explique que ces savoirs vont au-delà des simples échanges pour englober des données sectorielles couvrant la santé, l'agriculture, la sagesse et les valeurs .

Muhammadou Kah soutient que le renforcement des capacités et des compétences dans le Sud global est indispensable pour permettre aux populations informelles et non alphabétisées — qui représentent la majorité dans de nombreux pays — de contribuer leurs données aux modèles d'IA. Sans cet investissement dans le capital humain, les données de la majorité resteront exclues.

Il affirme que la centralité du renforcement des capacités et des compétences doit être reconsidérée d'une manière inédite, et qu'il existe une population informelle dont les données doivent intégrer les modèles . Il souligne que dans de nombreux pays du Sud global, la majorité de la population n'a pas reçu d'éducation formelle, ce qui signifie que les taux d'alphabétisation penchent en faveur de ceux sans instruction formelle, rendant le renforcement des capacités d'autant plus crucial .

Muhammadou Kah soutient que le Sud global doit fermement rejeter l'extraction de données et négocier plutôt des règles d'engagement permettant de conserver la propriété des données, tout en établissant des modèles économiques équitables et mutuellement bénéfiques pour l'utilisation des données et le partage des avantages. Il présente cela comme une question de souveraineté et de justice économique.

Il affirme que l'extraction de données est une réalité en pleine évolution qui doit être rejetée, du moins du point de vue du Sud global . Il soutient que l'arbitrage entre extraction et préservation dépend de la négociation de règles d'engagement permettant de conserver la propriété des données et d'établir un modèle équitable et juste pour le partage de la valeur extraite des données .

Muhammadou Kah établit un parallèle direct entre l'extraction historique des ressources naturelles et le risque émergent d'extraction de données, affirmant que le Sud global ne doit pas laisser le même schéma se reproduire avec les données. Il soutient que les données et les ressources naturelles du Sud global constituent des actifs incorporels non financiers pouvant être utilisés comme levier de négociation.

Il décrit comment, historiquement, les ressources naturelles ont été extraites des pays du Sud global pour que leur valeur leur soit ensuite revendue à un coût plus élevé, et insiste sur le fait que cela ne doit pas se reproduire avec les données . Il soutient que l'incapacité du Sud global à convertir les données en valeur ne doit pas conduire à les céder gratuitement, et que les modèles d'IA sophistiqués ont toujours besoin des données et des ressources naturelles du Sud global pour fonctionner, ce qui constitue un levier de négociation .

Muhammadou Kah soutient que le multilatéralisme doit jouer un rôle central dans l'élaboration de normes et de codes de conduite visant à décourager les pratiques extractives en matière de données, étant donné que de nombreux pays du Sud global ne disposent pas de la capacité réglementaire nécessaire pour agir unilatéralement. Il considère les forums multilatéraux comme l'espace privilégié pour établir des règles équitables en matière d'IA et de gouvernance des données.

Il reconnaît que certains estiment que le Sud global n'a pas le choix, car les données peuvent être prélevées à leur insu ou sans qu'ils aient la capacité de l'empêcher, ce qui est précisément la raison pour laquelle l'éthique, la transparence et la responsabilité en matière d'IA sont essentielles . Il soutient que le multilatéralisme peut encourager les États et les acteurs du secteur privé à aborder ces questions différemment, et que le Dialogue mondial sur l'IA existe pour garantir l'inclusivité et s'assurer que toutes les voix et perspectives sont entendues .

Muhammadou Kah précise que le Sud global ne cherche pas à s'exclure du développement de l'IA ni à empêcher le partage des données, mais plutôt à co-construire les règles régissant l'IA dans des conditions équitables, justes et transparentes. Il soutient que des modèles inclusifs produiront en définitive de meilleurs résultats pour tous, notamment une IA plus adaptable aux contextes locaux de santé et d'agriculture.

Il affirme que le Sud global ne dit pas que ses données ne regardent pas les autres, mais qu'il appelle à l'équité, à la justice, à la transparence et au partage des bénéfices dans une situation gagnant-gagnant . Il soutient que des modèles disposant de données plus représentatives seront mieux adaptés aux réalités locales en matière de santé et d'agriculture, plutôt que de recourir à des données synthétiques qui créent des problèmes dans des communautés spécifiques .

Muhammadou Kah soutient que la perte de diversité épistémique dans l'IA entraîne un manque d'innovation, l'introduction de biais et des systèmes qui semblent fonctionnels mais produisent des résultats sous-optimaux, créant ainsi des risques systémiques susceptibles de se propager à l'échelle mondiale avec de graves conséquences pour la sécurité. Il présente cela comme une menace fondamentale pour l'intégrité et l'utilité des systèmes d'IA.

Il soutient que le manque de représentativité introduit des biais, et que ces biais produisent des systèmes dysfonctionnels en apparence fonctionnels, dont les résultats deviennent sous-optimaux et génèrent des risques systémiques susceptibles de se propager à l'échelle mondiale avec des préoccupations sécuritaires et des conséquences graves . Il note également que le manque de diversité engendre un déficit d'innovation dans le système .

Muhammadou Kah soutient que la véritable résilience des systèmes d'IA ne peut être atteinte que si les modèles sont complets, systématiquement inclusifs et largement représentatifs. Il avertit qu'un modèle alimenté par des données erronées ou géographiquement limitées produira des résultats néfastes lorsqu'il sera appliqué dans des contextes différents, en prenant l'exemple de dispositifs médicaux utilisés dans des communautés rurales africaines.

Il affirme que la résilience ne peut être atteinte que si elle est globale, systématiquement inclusive et largement représentative, permettant ainsi une meilleure innovation, optimisation et adaptation . Il donne l'exemple d'un dispositif médical utilisant des données non représentatives qui peut fonctionner correctement dans une zone géographique donnée, mais causer des ravages lorsqu'il est appliqué dans un village rural en Gambie, en Tanzanie ou au Nigeria .

Wallace Cheng identifie trois problèmes interdépendants découlant de la concentration du marché de l'IA : une poignée d'outils d'IA, majoritairement en langue anglaise, dominent à l'échelle mondiale ; le jugement collectif humain, la créativité et les savoirs locaux risquent de s'éroder ; et les biais mineurs présents dans les modèles fondamentaux deviennent des normes mondiales lorsqu'ils sont déployés dans des secteurs critiques. Il présente ces éléments comme des risques cumulatifs qui doivent être traités collectivement.

Il décrit le premier problème comme la domination de moins de dix outils d'IA à l'échelle mondiale, dont la majorité sont en anglais . Le deuxième problème est que, si les individus peuvent gagner en efficacité, l'humanité dans son ensemble risque de devenir moins créative et de moins s'appuyer sur les savoirs locaux et l'expérience régionale . Le troisième problème est que les modèles fondamentaux, utilisés comme infrastructure, sont largement déployés dans les domaines de la santé, de l'éducation, de l'armée et de la défense, ce qui signifie qu'un biais mineur devient une norme mondiale .

Wallace Cheng soutient que les modèles d'IA biaisés déployés dans des contextes militaires ou sanitaires peuvent causer des préjudices irréversibles, comme la confusion entre civils et soldats ou la formulation de recommandations cliniquement inadaptées à différents systèmes de santé. Il établit une distinction entre l'universalité de la médecine en tant que science et la non-universalité des systèmes de santé, qui requièrent des connaissances culturelles et infrastructurelles locales.

Il souligne que dans le domaine de la santé, si la médecine elle-même peut être universelle, les systèmes de santé ne le sont pas, nécessitant une connaissance des différentes infrastructures, des préférences culturelles et des situations économiques . Dans les contextes militaires et sécuritaires, il avertit que les modèles d'IA présentant des biais à l'égard de certains groupes, ou incapables de distinguer les civils des soldats, causeront des dommages irréversibles . Il précise qu'il concentre spécifiquement ses travaux sur ces deux derniers secteurs .

Speaker 1 soutient que le défi de la monoculture de l'IA va au-delà de la langue pour englober des systèmes de valeurs culturelles fondamentalement différents, et que l'IA doit être en mesure de répondre en fonction de la culture de l'utilisateur. Différentes cultures attribuent des poids moraux et sociaux différents aux groupes démographiques, et les systèmes d'IA doivent refléter ces différences plutôt qu'imposer un cadre culturel unique.

Il donne l'exemple que dans certaines cultures lointaines, les personnes âgées sont considérées comme plus importantes que les nourrissons, alors que dans les cultures occidentales c'est l'inverse, ce qui influe considérablement sur les réponses de l'IA . Il fait également référence à l'exemple historique de la tentative de Microsoft de créer une encyclopédie universelle dans les années 1990, qui s'est immédiatement heurtée au problème de l'attribution de l'invention du téléphone à différents inventeurs - Graham Bell aux États-Unis, Meucci en Italie et Popov en Russie - illustrant ainsi la manière dont le cadre culturel façonne la connaissance .

Speaker 1 soutient qu'au lieu de fournir des données orales ou culturelles brutes aux développeurs d'IA, les communautés devraient regrouper leurs données avec leur contexte culturel complet, augmentant ainsi leur valeur et améliorant leur position de négociation. Il avertit que la fourniture de données brutes seules constitue une approche perdant-gagnant qui cède le contrôle dès lors que les données sont extraites.

Il soutient que le transfert de données brutes est une approche perdant-gagnant, car une fois les données extraites, il est très difficile de maintenir une position équilibrée . Il suggère que les communautés devraient fournir un ensemble comprenant non seulement les traditions orales brutes, mais aussi tout le contexte culturel qui valorise ces traditions, facilitant ainsi l'établissement d'une relation équilibrée entre les deux parties . Il s'appuie sur l'expérience européenne de numérisation de monuments sans contrepartie financière, ayant entraîné des pertes d'opportunités commerciales .

Speaker 2 soutient que le krach financier de 2008 n'était pas simplement le résultat d'une erreur de modélisation, mais qu'il a été structurellement orchestré par des incitations mal alignées et des produits financiers délibérément non orthogonaux, aboutissant à un transfert planifié de richesses des fonds de pension vers les fonds spéculatifs. Cela remet en question la présentation de la crise comme une conséquence involontaire de la monoculture et suggère une conception intentionnelle.

Il explique que le krach s'est produit parce que les incitations à la vente de prêts hypothécaires étaient alignées sur le volume plutôt que sur la capacité de remboursement , et que les produits financiers étaient structurés de manière délibérément non orthogonale, ce qui était clairement connu à l'époque et a entraîné un transfert d'argent des fonds de pension vers les fonds spéculatifs .

Speaker 2 soutient que si un seul système IA dominant existe, les données culturelles diverses qui lui sont fournies serviront en définitive un seul objectif politique ou idéologique, mettant en danger ceux qui fournissent ces informations. Il propose que l'existence de plusieurs organismes IA — plutôt qu'un seul dominant — constitue une architecture préférable et plus sûre.

Il suggère que si un seul organisme existe, les données fournies par diverses cultures serviront un seul objectif politique ou idéologique, et que plus les informations sur différentes idéologies sont nombreuses, plus le danger est grand pour ceux qui les fournissent . Il propose donc plusieurs organismes IA comme solution .