En 2016, Tay, un bot conversationnel lancé par Microsoft, écrit sur Twitter : « Je déteste ces putain [sic] de féministes, elles devraient mourir et aller en enfer. » Quelques heures après son lancement et suite à de nombreux « dérapages », son compte est fermé. Comme Tay en 2016, les réponses sexistes de ChatGPT interrogent : comment résoudre ces biais ? Ses programmeurs l’assurent : l’IA bloque les contenus discriminants. Pourtant, pour Daphné Marnat, CEO d’Unbias, une entreprise traitant les biais des algorithmes de traitement de langage, il s’agit d’une fausse promesse.
Selon elle, « les corpus sur lesquels ChatGPT est entraîné, c’est-à-dire du Common Crowl, 60% du web et en majorité du Wikipédia, sont chargés de représentations passées sur les femmes. » Il est donc primordial d’empêcher la machine de répliquer voire amplifier ces représentations. Elle identifie deux problèmes : les mots en eux-mêmes sexistes, comme le terme « mégère », et « les représentations implicites » associant un domaine particulier à un genre. Par exemple, les mathématiques vont, suivant ces représentations, être associées au masculin par la machine.
Open AI, pas si « open » que ça
La CEO d’Unbias souligne que le processus d’apprentissage de ChatGPT a plutôt tendance à amplifier ces biais. ChatGPT est parfois utilisé pour rédiger des offres d’emploi. Le problème, c’est que l’IA s’attache plus à la cohérence de l’offre d’emploi qu’à l’adoption d’un langage non sexiste. Étant donné que la machine a appris qu’en français l’annonce est rédigée au masculin neutre et que sa base de données identifie comme bons candidats les hommes de moins de 40 ans, pour Daphné Marnat « tout le monde y perd y compris les employeurs, il n’y a pas de transparence pour les services de ressources humaine. »
Cette situation s’explique selon elle par un choix stratégique d’Open AI : « Pour résoudre les biais sexistes de l’IA, soit vous travaillez sur l’algorithme et vous lui interdisez d’amplifier ces biais ; soit vous faites comme Open AI : de l’apprentissage par renforcement, c’est-à-dire que vous lui dites au cas par cas ce qui est bien et ce qui ne l’est pas. » Le problème réside dans le manque de transparence des principes fondateurs de cet apprentissage. « Je suppose qu’ils l’ont fait avec leurs valeurs. Ça reste les idées californiennes mais il y a tout de même une idéologie sous-jacente. Open AI doit prendre la responsabilité de ce qu’ils mettent entre les mains des gens », ainsi l’entrepreneure plaide pour une documentation précise de ces choix, au vu et su de l’utilisateur.
A problème matriciel, initiatives plurielles
Cet enjeu de la transparence du processus d’apprentissage est également dans le viseur des autorités. Le Digital Service Act, adopté en juillet 2022 par le Parlement européen, impose aux plateformes numériques une obligation de transparence sur leurs modèles. Pour Daphné Marnat, cette initiative est cruciale « c’est comme les quotas pour la parité. S’il n’y a pas d’obligation, malheureusement personne ne fait rien. »
L’expérience de l’entrepreneure dans ce milieu soulève un autre problème « quand vous arrivez dans ces métiers, vous faites face à des équipes sexistes et une ambiance masculiniste alimentée par l’univers des jeux vidéo, de la science-fiction et par l’imaginaire de l’homme ultra viril. » Au-delà de la féminisation des métiers, c’est donc l’environnement professionnel des métiers de l’IA qu’il « convient de repenser ».
Du travail reste encore à faire car en plus d’être potentiellement sexiste ChatGPT véhicule aussi des biais racistes et grossophobes. La machine sera-t-elle un jour égalitaire ?
Astrid Nobre
Au sommaire
