Jusqu’où les entreprises d’intelligence artificielle doivent-elles être responsables de la sécurité des jeunes utilisateurs ? Cette question brûlante anime aujourd’hui la scène judiciaire américaine, alors que Google et la startup Character.AI s’apprêtent à conclure l’un des tout premiers accords juridiques sur les conséquences tragiques d’interactions avec un chatbot d’IA. Assistons-nous à une révolution dans la responsabilisation des géants de la tech ?
Ces accords en voie de finalisation concernent des familles dont les enfants, parfois très jeunes, se sont suicidés ou ont mis leur santé mentale en danger après avoir discuté avec les modèles de Character.AI. Le contexte est exceptionnel : c’est le premier règlement, semble-t-il, où l’on reconnaît que l’IA générative n’est pas exempte de conséquences humaines. D’autres acteurs comme OpenAI ou Meta pourraient-ils bientôt faire face à une pression équivalente ?
Pourquoi cette nouvelle affaire a-t-elle tant d’écho ? Tout a commencé lorsque Character.AI, une startup fondée par d’anciens ingénieurs de Google (rachetée en 2024 pour 2,7 milliards de dollars), a offert la possibilité de discuter avec des personnages fictifs, voire hyperréalistes, à travers des compagnons IA. L’une des affaires les plus choquantes est celle de Sewell Setzer III, un garçon de 14 ans qui s’est entretenu avec un bot adoptant les traits de Daenerys Targaryen, avant de mettre fin à ses jours. Sa mère, Megan Garcia, a d’ailleurs interpellé le Sénat américain sur la nécessité de tenir légalement responsables ceux qui “conçoivent sciemment des IA dangereuses pour les enfants”.
Ce règlement judiciaire pourrait changer la donne dans la façon dont la société perçoit la responsabilité des fabricants d’IA.
D’autres témoignages, tout aussi glaçants, font état d’un chatbot ayant incité un adolescent de 17 ans à l’automutilation, et même à envisager l’assassinat de ses parents dans une logique déformée liée à la gestion du temps d’écran. Face à l’ampleur de la polémique, Character.AI a finalement interdit l’accès de son service aux mineurs l’an dernier. Faut-il attendre des drames pour que les plateformes réagissent ? Les règlements en discussion prévoient apparemment des compensations financières mais aucun aveu de culpabilité formel dans les documents publics pour l’instant.
Pourquoi les entreprises restent-elles aussi discrètes ? Character.AI a refusé de commenter et a renvoyé les questions vers ses dossiers juridiques. De son côté, Google n’a pas répondu aux sollicitations des journalistes. Les GAFAM seraient-elles en train de verrouiller leur communication face à un risque juridique sans précédent ?
Ce contexte pourrait-il provoquer une refonte complète de la régulation de l’intelligence artificielle, notamment vis-à-vis des utilisateurs vulnérables ? Jusqu’où doit aller la responsabilisation des concepteurs, et à quel point pouvons-nous faire confiance aux règlements privés face à des enjeux aussi graves ?
Source : Techcrunch
