Comment Subquadratic revendique une IA plus rapide et moins coûteuse pour les modèles à long contexte

Imaginez un monde où les coûts exorbitants des calculs d’intelligence artificielle chutent soudainement, rendant la technologie accessible à une échelle sans précédent. Vous êtes peut-être sur le point de découvrir cette réalité avec Subquadratic, une startup qui promet de transformer la façon dont les modèles de langage opèrent. Mais peut-on vraiment croire à cette révolution technologique, ou s’agit-il simplement d’un mirage numérique ?

Subquadratic, une jeune pousse basée à Miami, prétend avoir fait un bond en avant dans le domaine des modèles de langage IA. Grâce à une levée de fonds impressionnante de 26,8 millions d’euros, l’entreprise a lancé SubQ, un modèle dont le coût de calcul serait radicalement réduit. Bien que les premiers tests indépendants semblent prometteurs, des questions subsistent sur la réalité de ces avancées. Décryptons ensemble cette innovation potentielle.

L’essentiel à retenir

• Subquadratic a levé 26,8 millions d’euros pour développer SubQ, un modèle de langage qui promet de réduire le coût de calcul IA.
• Tests indépendants par Appen montrent que SubQ est 56 fois plus rapide que les méthodes actuelles sur un million de tokens, mais des résultats au-delà de deux millions de tokens restent à confirmer.
• Le scepticisme persiste dans la communauté technologique, avec des comparaisons faites avec des échecs notoires comme Theranos.

Subquadratic et son approche à attention sparse

Subquadratic se démarque par son architecture à attention sparse, un concept qui contrarie le modèle traditionnel de l’architecture transformer, mis au point par Google en 2017. Alors que les transformers traitent toutes les paires de mots possibles, SubQ se concentre uniquement sur les relations jugées pertinentes. Cela permet de maintenir un coût proportionnel à la longueur du texte, ouvrant potentiellement la voie à des applications plus étendues et moins coûteuses.

Justin Dangel et Alex Whedon, les fondateurs de Subquadratic, ont réuni une équipe de 35 experts, dont 11 docteurs issus d’institutions prestigieuses comme Meta, Google, Oxford et Cambridge. Cette équipe a pris un modèle open-weight existant et a remplacé le mécanisme d’attention par leur architecture SSA, poursuivant l’entraînement sur un volume impressionnant de mille milliards de tokens.

Résultats des tests et scepticisme du marché

Les tests réalisés par le cabinet Appen ont montré que le noyau d’attention de SubQ surpasse FlashAttention-2 sur un million de tokens, atteignant une vitesse 56 fois plus rapide. De plus, lors d’un exercice standardisé NIAH, SubQ a réussi à identifier des informations précises dans de longs textes, avec une efficacité allant jusqu’à 98 % pour douze millions de tokens. Cependant, l’absence de données au-delà de ces seuils alimente le scepticisme.

Dan McAteer, ingénieur en IA, a comparé Subquadratic à Theranos, la startup médicale infâme pour ses fausses promesses. Cette analogie souligne le doute persistant quant à la crédibilité des prétentions de Subquadratic. L’absence de preuves publiques claires et l’échec d’autres entreprises dans des promesses similaires renforcent cette méfiance.

Coût des services et comparaisons dans l’industrie

Subquadratic prétend offrir des coûts bien inférieurs à ceux de ses concurrents. Par exemple, pour le test RULER 128K, Subquadratic évalue la requête à seulement 7,30 euros, comparativement aux 2 380 euros facturés par Anthropic. Cette différence significative pourrait permettre à SubQ de se démarquer si les performances promises sont bel et bien au rendez-vous.

La croissance des modèles à long contexte en 2026

En 2026, l’industrie de l’intelligence artificielle continue d’évoluer avec une attention particulière sur les modèles capables de gérer des contextes de plus en plus longs. Des entreprises comme Magic.dev et Subquadratic explorent des solutions pour surmonter les limites des modèles actuels. Les avancées dans ce domaine pourraient non seulement réduire les coûts, mais aussi améliorer la précision et la pertinence des réponses générées par les IA.

La quête pour des modèles de langage plus efficaces et moins coûteux reste une priorité pour de nombreuses startups technologiques. L’impact potentiel sur des secteurs comme le service client, la traduction automatique, et l’analyse de données pourrait transformer des industries entières. La question reste de savoir quelle entreprise parviendra à proposer un modèle véritablement scalable et fiable.

Les enjeux de la scalabilité dans le domaine de l’intelligence artificielle

Alors que les modèles de langage deviennent de plus en plus sophistiqués, la scalabilité reste un défi majeur. Des entreprises comme OpenAI et Google continuent de repousser les limites de ce qui est possible, mais la demande en ressources computationnelles augmente parallèlement. Cela pose des problèmes en termes de coût, d’accessibilité et de durabilité environnementale.

Les chercheurs et développeurs travaillent à des solutions qui pourraient rendre l’IA plus abordable et verte. Des avancées dans les architectures de modèle et le matériel informatique, telles que les puces neuromorphiques et le calcul quantique, pourraient offrir des voies prometteuses pour surmonter les obstacles actuels. L’avenir de l’IA dépendra en grande partie de notre capacité à résoudre ces défis de scalabilité.

[Nouveau] 4 ebooks sur le digital marketing à télécharger gratuitement

Cet article vous a plu ? Recevez nos prochains articles par mail

D’autres articles sur le même thème :