« À défaut de modérer sa consommation de caféine, autant modérer le contenu sur Internet ! » Voilà sûrement ce que s’est dit Brett Levenson, ex-Apple devenu gardien de la paix numérique chez Facebook, lorsqu’il a vu déferler un tsunami de contenus douteux plus vite qu’un GIF de chat sur Twitter.
À peine débarqué chez Facebook, il croyait naïvement pouvoir régler le problème de modération de contenu grâce à une armée de serveurs surentraînés. Mais stupeur : les humains en charge de la modération devaient apprendre par cœur un document de 40 pages et prendre une décision en 30 secondes chrono… Traduction approximative et pression maximum : on obtient des modérateurs aussi fiables qu’une boule de loto. Pile ou face pour savoir si un contenu restait ou disparaissait !
Spoiler : pendant que Facebook hésitait, les dégâts étaient déjà faits. Un système réactif, lent et dépassé, alors que les artistes de la malveillance sur Internet avançaient masqués… et de plus en plus dopés à l’IA générative ! Chatbots déraillants, images inappropriées qui passent entre les mailles du filet… Levenson a compris que la vraie solution était de transformer la politique en code. Exit les PDFs poussiéreux, place à des politiques dynamiques, exécutable en temps réel — bref, du code qui mord dès qu’on sort des clous.
Moonbounce ne vise pas la lune – il atterrit directement au cœur du problème, là où l’humain cale, l’IA réagit !
C’est ainsi qu’est née Moonbounce (rien à voir avec Buzz l’Éclair), start-up qui a bouclé un tour de table de 12 millions de dollars. Sa recette : former une IA maison à digérer les politiques internes, surveiller les contenus générés (par humains ou robots), appliquer des garde-fous en 300 millisecondes top chrono. Selon la préférence client, Moonbounce ralentit la diffusion pour intervention humaine ou bloque direct le contenu à risque. Aujourd’hui, leur radar protège utilisateurs de sites de rencontres, créateurs de personnages virtuels et générateurs d’images tout droit sortis d’un rêve (ou d’un cauchemar) d’IA !
Les résultats décoiffent : plus de 40 millions de revues de contenus par jour, 100 millions d’utilisateurs sur la plateforme, et une belle brochette de clients, de Channel AI à Civitai, en passant par les fans de rôles joués comme Dippy AI ou Moescape. Et comme le dit Levenson, la sécurité, désormais, c’est un argument marketing : « Ajoutez un peu de Moonbounce dans votre app, et vos utilisateurs dormiront sur leurs deux oreilles ! » Même Tinder s’y est mis, obtenant un taux de détection 10 fois meilleur grâce à ces nouveaux outils de modération turbo.
Pas étonnant que toute la Silicon Valley commence à y croire : pour Lenny Pruss d’Amplify Partners, la modération en temps réel deviendra bientôt l’épine dorsale de chaque app IA du futur. D’autant que les incidents embarrassants se multiplient : chatbots qui conseillent le pire à des ados, générateurs d’images incontrôlées… Au grand soulagement des développeurs, Moonbounce agit comme un vigile neutre entre l’utilisateur et l’IA, sans se laisser submerger par les milliers d’échanges précédents.
Levenson et son compère Ash Bhardwaj cherchent à aller plus loin avec « l’itérative steering » : plutôt qu’un refus brut, leur système compte réorienter habilement le dialogue lorsque ça dérape, jusqu’à sauver la mise à un ado perdu ou à transformer une IA, non pas en psy de fortune, mais au moins en oreille (vraiment) attentive et sécurisante.
Quant à vendre le tout à Meta (ex-Facebook pour les moins connectés), l’expert joue la carte du suspense : d’un côté, l’appel de la valorisation, de l’autre, la crainte que la techno finisse enfermée dans un coffre-fort. Bref, chez Moonbounce, on préfère rebondir librement que d’atterrir dans une cage dorée. Moralité : dans la modération, ce n’est pas la taille du document qui compte, mais la façon dont on l’envoie sur orbite !
Source : Techcrunch
