Comment les géants de l’IA peuvent-ils véritablement exploiter tout le potentiel de leur matériel, alors que les investissements dans les data centers ne cessent d’exploser et que les goulots d’étranglement persistent ? Est-il encore possible de rendre l’inference de l’IA significativement plus performante sans un bouleversement matériel ?
C’est à cette problématique que s’attaque Gimlet Labs, une start-up fondée par Zain Asgar, professeur à Stanford et entrepreneur aguerri. Avec une levée de fonds ahurissante de 80 millions de dollars menée par Menlo Ventures, Gimlet prétend avoir inventé la première “multi-silicon inference cloud”, une plateforme logicielle capable de dispatcher les tâches d’IA simultanément sur différents types de processeurs — CPUs classiques, GPUs optimisés pour l’IA, mais aussi sur des architectures dotées de grandes capacités mémoire. Peut-on vraiment orchestrer ainsi l’ensemble du matériel disponible comme s’il ne formait plus qu’un seul et unique superprocesseur ?
Selon Asgar, “nous tournons sur tout le hardware disponible”, rendant possible une nouvelle forme d’exécution distribuée où chaque étape profite de la meilleure ressource : calcul intensif sur GPU, accès mémoire massif ailleurs, et traitements réseaux là où c’est le plus efficace. Le problème ? Aucun processeur généraliste ne maîtrise toutes ces dimensions. Les parcs existent déjà, mais jusqu’à présent, ils restent sous-exploités par manque d’une brique logicielle unificatrice.
Faire dialoguer efficacement tous les types de puces pourrait libérer des centaines de milliards de dollars de ressources dormantes.
Sachant que, d’après McKinsey, les investissements mondiaux dans les data centers pourraient atteindre 7 000 milliards de dollars d’ici 2030, comment accepter que seulement 15 à 30 % des capacités matérielles existantes soient utilisées ? C’est justement sur cette inefficacité vertigineuse que Gimlet Labs entend frapper fort : leur objectif annoncé serait une efficacité multipliée par dix dans l’exploitation des ressources pour l’IA. Mais ce discours prometteur résiste-t-il à l’épreuve de la réalité ?
Pour concrétiser cette promesse, Gimlet Labs a développé un logiciel d’orchestration et un API, capable de découper et répartir dynamiquement les workloads sur la flotte de processeurs la plus adaptée. Le gain annoncé ? Entre 3 et 10 fois plus rapide à coûts et puissance constants, grâce à une approche qui attribue chaque partie du modèle d’IA à la puce la plus performante pour la tâche. Les partenariats avec NVIDIA, AMD, Intel, ARM, Cerebras et d-Matrix semblent renforcer la solidité de leur solution : la balle est-elle désormais dans le camp des opérateurs de data centers pour généraliser cet usage ?
Gimlet cible en priorité les laboratoires d’IA de pointe et les opérateurs de centres de données, et non la myriade de développeurs d’applications. Signe de sa crédibilité : dès son lancement public en octobre, la société revendiquait des revenus à huit chiffres — soit au moins 10 millions de dollars — et a déjà doublé sa clientèle en quatre mois. Pourtant, Asgar refuse de dévoiler l’identité des grands acteurs déjà séduits : manque de transparence ou simple stratégie commerciale ?
Les fondateurs de Gimlet Labs n’en sont pas à leur coup d’essai : leur précédente aventure, Pixie, avait été rachetée seulement deux mois après avoir levé 9 millions de dollars, et la start-up affiche déjà un effectif de 30 personnes épaulé par un aréopage d’investisseurs prestigieux, allant de Sequoia à des universitaires de Stanford. Vu l’engouement des fonds, le secteur serait-il prêt à basculer vers le “multi-silicon” ?
Reste une question fondamentale : une technologie logicielle aussi ambitieuse peut-elle réellement transformer l’économie des infrastructures IA, ou ne s’agit-il que d’un mirage alimenté par la hype du moment ?
Source : Techcrunch
