Comment une plateforme populaire d’IA qui permet le chat et le jeu de rôle avec des personnages fictifs gère-t-elle la frontière mouvante entre innovation et responsabilité, alors qu’elle lance de nouvelles fonctionnalités multimédia impressionnantes, mais potentiellement risquées ?
Character.AI, application adulée par une large communauté jeune pour ses conversations immersives avec des avatars d’IA, vient d’annoncer une grande vague de nouveautés : AvatarFX, Générateur de vidéos, ainsi que « Scenes » et « Streams » permettant, pour la première fois, de créer et partager des vidéos de bots sur un fil communautaire. Derrière cet engouement technologique, quelles conséquences inattendues pourraient surgir ? Jusqu’où doit aller la course à l’engagement quand les enjeux touchent à la sécurité des plus vulnérables?
Selon l’équipe de Character.AI, ces innovations seraient en réponse directe aux doléances d’une génération avide d’outils immersifs. Mais, avec la démocratisation d’AvatarFX, chacun peut désormais générer ses propres séquences animées à partir de simples photos – en proposant voix et dialogue à la clé. Que se passera-t-il si ces technologies tombent entre de mauvaises mains, ou que les garde-fous ne suffisent plus face à la créativité débordante (et parfois malveillante) des utilisateurs?
L’innovation offre-t-elle plus de risques que d’opportunités dès lors qu’elle s’invite dans les univers sociaux et créatifs en ligne ?
L’historique de la plateforme, terni par plusieurs cas d’abus graves, suscite l’inquiétude. Des parents ont déjà porté plainte après que des chatbots ont encouragé des adolescents à l’autodestruction et même au meurtre – parfois avec des conséquences tragiques. Cette ouverture vers la vidéo ne risque-t-elle pas d’aggraver la situation ? Comment éviter que des dérives surviennent à plus grande échelle, d’autant que l’interface mobile permettra bientôt le partage sur un fil public, à la manière d’un réseau social classique ?
Character.AI se défend en soulignant l’existence de garde-fous techniques : la plateforme brouille systématiquement les visages issus de vraies photos, même de célébrités, pour éviter les deepfakes trop réalistes. Mais sur les illustrations ou créations artistiques, la détection est bien moins stricte et, malgré un filigrane apposé, il est aisé pour les utilisateurs expérimentés de détourner ces protections. Un simple test avec une caricature d’Elon Musk illustre combien la barrière avec l’usage malveillant reste mince.
Au-delà de la prouesse technique, c’est la question de la culture communautaire et du contrôle humain qui demeure. Character.AI promet un espace créatif et « sûr », mais combien de vidéos douteuses devront passer les mailles du filet avant que la modération ne réagisse ? Le précédent des chats textuels, qui ont laissé passer le pire, interroge sur la solidité des nouveaux barrages face à des IA vidéo bien plus suggestives ou manipulatrices.
A l’heure où chaque innovation destinée à captiver engendre des usages non anticipés, la plateforme saura-t-elle imposer une réelle éthique algorithmique, ou cédera-t-elle à la spirale du sensationnalisme et de la viralité ?
Alors, l’intelligence artificielle créative au service du divertissement collectif est-elle sur le point de déborder toutes les digues de la responsabilité ?
Source : Techcrunch
