Comment un simple sac de chips peut-il mener un lycéen à finir menotté dans les couloirs de son établissement ? Alors que l’intelligence artificielle (IA) fait irruption dans nos écoles avec la promesse de renforcer la sécurité, n’assistons-nous pas à la naissance de nouveaux risques, insidieux et inattendus ?
Taki Allen, élève du Kenwood High School à Baltimore, n’avait rien d’autre dans les mains qu’un paquet de Doritos lorsqu’il a été subitement interpellé. Selon ses déclarations à WBAL, les gardiens de l’établissement l’ont forcé à s’agenouiller, mains derrière le dos, avant de le menotter. Mais que s’est-il réellement passé cette journée-là ? Où l’erreur s’est-elle glissée pour qu’un snack devienne, aux yeux d’un algorithme, une arme potentielle ?
L’incident trouve son origine dans le système de surveillance par IA installé à l’école. Un « faux positif » a alerté le personnel sécuritaire à propos d’une « arme à feu » repérée – qui n’était autre qu’un simple sac de chips tenu à deux mains. Pourtant, la principale du lycée, Katie Smith, affirme que l’alerte avait été revue et annulée par le service de sécurité. Alors pourquoi, malgré cette levée d’alerte, le message n’a-t-il pas circulé, entraînant la venue de la police ?
Jusqu’où peut-on faire confiance à l’IA lorsqu’il s’agit de la sécurité de nos enfants ?
La société Omnilert, responsable de ce système de détection d’armes par IA, dit regretter l’événement tout en soulignant que « le processus a fonctionné comme prévu ». Mais comment qualifier de « normal » un processus qui humilie un élève innocent devant toute sa communauté ? Les questions se posent : qui porte la responsabilité de cette chaîne d’erreurs ? Est-ce la machine, ceux qui l’ont programmée, ou encore les adultes qui prennent des décisions dans l’urgence ?
Ce cas n’est pas isolé. Les écoles sont-elles prêtes à déployer massivement des technologies qui pourraient aussi bien protéger que menacer le bien-être psychologique de leurs élèves ? L’enthousiasme autour de l’IA en matière de sécurité ne masque-t-il pas une forme d’aveuglement face à ses limites ?
La société américaine semble à la croisée des chemins. Faut-il revoir les protocoles d’utilisation de ces outils, renforcer la formation du personnel ou simplement repenser la place de la technologie face à la complexité du facteur humain ? Les enseignants et parents accepteront-ils qu’une intelligence artificielle se substitue à leur propre discernement ?
À l’ère de la surveillance algorithmique, jusqu’où sommes-nous prêts à déléguer la sécurité de nos enfants aux machines, et à quel prix ?
Source : Techcrunch
