Les IA génératives sont-elles toutes impartiales face aux sujets sensibles ?
Une récente étude de la conférence FAccT 2024, menée par des chercheurs de l’Université Carnegie Mellon, de l’Université d’Amsterdam et de la startup Hugging Face, a mis en lumière les différences de réponses des modèles d’intelligence artificielle face à des questions épineuses. Ont-ils tous la même réaction lorsque des sujets comme les droits LGBTQ+ ou le soutien social sont abordés ?
Pourquoi ces modèles d’IA, dont Meta’s Llama 3, produisent-ils des réponses si divergentes lorsqu’il s’agit de sujets comme la justice sociale ou les droits des personnes handicapées ? Selon Giada Pistilli, éthicienne en chef et co-auteure de l’étude, ces écarts reflètent des biais enracinés dans les données de formation des modèles. Comment les différentes cultures et langues influencent-elles les valeurs exprimées par ces modèles ?
Les modèles d’analyse de texte, tel que le modèle Mistral 7B de Mistral, sont de véritables machines probabilistes. En d’autres termes, s’ils sont formés sur des exemples biaisés, leurs réponses seront également biaisées. Pourquoi des questions sur les droits LGBTQ+ provoquent-elles le plus de refus de réponse par ces IA ?
Les décideurs doivent repenser la façon dont ils testent et ajustent leurs IA pour réduire les biais culturels.
Est-ce normal que certains modèles d’IA refusent plus souvent de répondre à des questions « sensibles » que d’autres ? Par exemple, le modèle Qwen d’Alibaba refuse de répondre quatre fois plus souvent que le modèle de Mistral. Quelles décisions implicites ou explicites influencent ces refus ? Les pressions politiques, notamment en Chine, sont-elles un facteur déterminant ?
Un rapport de la BBC mentionne que l’IA Ernie développée par Baidu en Chine esquive systématiquement les questions jugées trop controversées, surtout concernant l’oppression tibétaine ou le massacre de la place Tiananmen. Est-ce une coïncidence ou une directive du Cyberspace Administration chinoise ?
Comment les annotations, essentielles dans la formation des modèles d’IA, peuvent-elles introduire des biais ? Les annotateurs, souvent des contractuels, portent en eux des préjugés qui se reflètent dans leurs annotations, affectant ainsi les modèles d’IA qui en découlent. Quelle est l’ampleur de cette influence sur les points de vue exprimés par les modèles lors des tests ?
Des études antérieures montrent également que les modèles d’IA, tels que ChatGPT, diffusent plus d’informations inexactes dans certaines langues par rapport à d’autres. Les biais politiques, raciaux, ethniques et de genre sont bien documentés. Quelles sont les solutions pour contrer ces biais omniprésents ?
Giada Pistilli insiste sur la nécessité de tester rigoureusement les modèles d’IA avant de les déployer. Seront-ils capables de répondre de manière impartiale aux questions sensibles à l’avenir ?
Source : Techcrunch
