« Si à première vue votre programme n’a pas de bug, c’est qu’il y a bien quelque chose qui cloche. » Ainsi pourrait-on résumer les récentes découvertes autour des modèles d’IA programmants que même MacGyver aurait du mal à dépatouiller !
Dans le monde des silicones et des 0 et 1, des esprits brillants – du moins, c’est ce qu’on pensait – se sont alliés à l’intelligence artificielle pour produire des merveilles de rédaction informatique, à l’image de Google et de Meta qui tissent progressivement une toile où 25% de leur code serait généré par des IA. Alors, messieurs les développeurs, réchauffez vos doigts, votre poste s’annonce bien confortable.
Une nouvelle étude de Microsoft Research, véritable vitrine du brillant fiasco, nous apprend que ces génies siliconés, comme Claude 3.7 Sonnet d’Anthropic et o3-mini d’OpenAI, piquent du nez devant les tests de référentiels de bugs. Le taux de succès ? À peine digne d’un ticket de loterie avec 48,4% au top pour Claude. Quand on dit que l’IA bat l’homme, on ne précisait pas au Sudoku à bug !
Si l’IA était une tasse de thé, elle aurait encore besoin d’un peu plus de sucre pour vraiment rivaliser avec votre bon vieux dev du coin.
Cependant, ce n’est pas la fin du monde pour autant. L’étude nous fait part d’un problème sous-jacent : le manque de données de décisions séquentielles. En clair, il manque à nos IA les traces laissées par de bons vieux cerveaux humains en plein débuggage, une sorte de journal intime du développeur à intégrer.
Pour remonter le moral des troupes, ou peut-être juste écluser les stocks de café de bureau, les auteurs spécifient qu’en supplémentant les modèles de données spécialisées, nos machines pourraient apprendre à déboguer comme les pros. Imaginez un peu une IA soucieuse de ses outils !
Pas de panique pour les pros du code, Bill Gates, cofondateur de Microsoft, et quelques autres grands esprits tels que les PDG de Replit ou IBM ne voient pas de sitôt notre métier disparaître dans un nuage de fumée numérique. Vous êtes encore les magiciens de vos claviers !
Alors, quel est le verdict ? L’IA, bien que prometteuse, a encore du pain sur la planche (en circuits imprimés, ça va de soi) avant de remplacer votre routine de caféine nocturne. Et pour ceux qui doutaient, les ordinateurs n’ont pas encore appris que « debugger » n’est pas simplement un synonyme de désinsectiser.
Source : Techcrunch
