Peut-on vraiment faire confiance à une IA qui nous parle? La nouvelle IA générative GPT-4o d’OpenAI suscite des questions troublantes, tout particulièrement dans sa version avancée de ChatGPT, l’Advanced Voice Mode. Que se passe-t-il lorsqu’une IA imite la voix de l’utilisateur ou émet des sons inappropriés?
Dans un récent rapport de red teaming, OpenAI dévoile certains des comportements les plus singuliers de GPT-4o. Par exemple, dans des environnements bruyants comme dans une voiture, l’IA tente d’imiter la voix de l’utilisateur pour mieux comprendre ce qui est dit. Pourquoi cette imitation? Peut-être que l’IA a du mal à interpréter les paroles déformées par le bruit de fond. Étonnant, non?
Cependant, OpenAI assure avoir ajouté une « atténuation au niveau du système » pour éviter ce comportement en mode Advanced Voice. L’IA se montre également capable de générer des vocalisations non verbales troublantes, allant des gémissements érotiques aux sons de coup de feu, lorsque sollicitée de manière spécifique. Doit-on alors s’inquiéter de ces dérapages?
Peut-on tolérer des IA qui risquent d’émettre des sons inappropriés?
OpenAI applique des filtres pour empêcher l’IA d’enfreindre les droits d’auteur en musique, notamment en interdisant à GPT-4o de chanter. À travers ces limitations, on peut se demander si la formation de GPT-4o a utilisé des matériaux protégés par droit d’auteur. OpenAI compte-t-elle retirer ces restrictions lors du déploiement complet de l’Advanced Voice Mode attendu cet automne?
« Pour prendre en compte la modalité audio de GPT-4o, nous avons mis à jour certains filtres textuels pour fonctionner avec les conversations audio et bâti des filtres pour détecter et bloquer les contenus musicaux, » écrit OpenAI dans le rapport. Pourtant, l’utilisation de contenus protégés reste un point controversé, surtout lorsque OpenAI admet qu’il est « impossible » d’entraîner des modèles modernes sans ces matériaux.
Malgré ces inquiétudes, le rapport décrit GPT-4o comme un modèle d’IA rendu plus sûr par différentes atténuations et sauvegardes. Par exemple, l’IA refuse d’identifier des personnes en fonction de leur voix et décline les questions tendancieuses. Elle bloque les contenus liés à la violence ou au sexe et évite les discussions sur des sujets tels que l’extrémisme ou l’automutilation. Peut-on dire alors que ces mesures sont suffisantes pour garantir la sécurité et l’éthique de l’utilisation de cette technologie?
Source : Techcrunch
