“Pourquoi acheter un nouveau grille-pain quand on peut juste découvrir que le sien grille déjà plus vite en appuyant sur les bons boutons ?” Voilà une maxime qui pourrait bien s’appliquer à Kog, la startup française qui bouscule le monde de l’IA. Tandis que Cerebras, armée de ses puces taillées sur mesure, fait péter les bouchons à Wall Street, Kog préfère miser sur les bons vieux GPU de data centers… mais dopés au logiciel malin. Comme quoi, il y a plus de magie dans un composant qu’on ne le croit, à condition de parler la langue de Shakespeare et un peu celle du binaire !
Sortie de l’ombre en mai dernier, Kog a fait crépiter Hacker News avec une démo choc : 3 000 tokens générés par seconde, sur des GPU tout ce qu’il y a de plus standard (AMD MI300X et Nvidia H200, si vous voulez briller au prochain apéro tech). De quoi intéresser les obsédés de la rapidité qui en avaient marre de patienter pour voir leur texte s’afficher – et, accessoirement, de quoi attirer pas moins de 200 prospects actifs. À l’époque, certains râlaient que leurs laptops ne profitaient pas encore du turbo, mais on ne conquiert pas le monde en un jour, surtout pas en baskets de startup !
Gaël Delalleau, fondateur solo et ancien hacker de haut vol, ne se fait pas d’illusions : le premier public visé, ce sont les ingénieurs logiciels. Ils sont bien placés pour savoir que “Fast Mode”, rendu célèbre (et payant) par Claude chez Anthropic, se monnaie aussi cher que les places de concert de Taylor Swift. Kog veut que la rapidité devienne un droit et non un privilège, et rêve déjà de séduire les boîtes qui créent jeux, applis et nouveautés IA, là où chaque milliseconde gagnée peut transformer l’attente en cash.
Une chose est sûre : sous le règne de Kog, il ne faudra plus jeter son GPU à la poubelle avant d’avoir vraiment tout essayé.
Mais l’aventure n’est pas un sprint, c’est un ultra-trail. Car si la démo de Kog impressionne, elle repose encore sur un ‘petit’ modèle maison de 2 milliards de paramètres — le bien nommé Laneformer 2B. La promesse est belle (“30 fois plus rapide !”), mais l’enjeu, c’est de prouver que la magie fonctionne aussi sur les gros modèles LLM qui dévorent habituellement les ressources informatiques comme Pac-Man dévore les pac-gommes.
Kog n’est pas la seule à rêver d’optimiser les GPU : la startup voisine ZML a aussi lancé un logiciel qui fait fi de CUDA, et le mythique labo Hazy de Stanford planche sur le sujet. Mais Delalleau veut aller plus loin dans les entrailles du GPU, quitte à jouer du tournevis logiciel et à gratter les lignes d’assembleur comme on gratte un code promo trop bien caché. Son passé de hacker (quatre fois finaliste DEFCON, excusez du peu) nourrit cette envie de détourner chaque transistor de sa routine pour lui offrir une seconde jeunesse.
La rançon de cette manie du sur-mesure ? Chaque nouveau GPU nécessite des semaines, voire des mois, d’exploration — et quand on n’est que 11 dans la team, ça limite la conquête, du moins pour l’instant. À terme, Kog rêve d’agents logiciels capables d’automatiser l’ingénierie sur plusieurs puces et modèles à la fois. Un plus pour l’indépendance technologique européenne… mais en attendant, la priorité reste de montrer que l’on peut “débloquer” les LLM sur GPU à la vitesse Xéna.
Prochaine étape décisive : révéler, d’ici septembre, un premier très gros modèle boosté x10 par le Kog Inference Engine. De quoi, si tout va bien, décrocher de nouveau la palme de la rapidité… et pourquoi pas offrir à Gaël Delalleau sa revanche sur Wall Street. Après tout, qui n’a jamais rêvé de hacker sa propre licorne ? Et comme dit le dicton Kog, s’il y a une puce, il y a un chemin…
Source : Techcrunch
