Les avancées en intelligence artificielle semblent marquer un coup d’arrêt pour OpenAI, le géant de la technologie qui a marqué l’industrie en 2022 avec le lancement de ChatGPT. Le modèle Orion, successeur de GPT-4, ne serait pas aussi révolutionnaire que prévu, poussant l’entreprise à revoir ses ambitions. Avec des performances jugées moins impressionnantes que celles de ses prédécesseurs, Orion témoigne peut-être des problématiques du secteur de l’IA en quête de nouvelles ressources et méthodes d’apprentissage. Décryptage.
Les limites du scaling mises en évidence par Orion
Le concept de « scaling », qui consiste à améliorer les performances des modèles d’IA en augmentant leur taille et la quantité de données d’entraînement, semble atteindre ses limites. Les premiers tests d’Orion montrent que, malgré un gain rapide en puissance, la marge d’amélioration devient de plus en plus restreinte. En atteignant la performance de GPT-4 après seulement 20 % de son entraînement, Orion laisse entrevoir une efficacité prometteuse. Cependant, le bond qualitatif espéré par rapport à GPT-4 n’est pas au rendez-vous, marquant ainsi un ralentissement inattendu dans l’évolution de l’IA.
Ce phénomène semble particulièrement prononcé dans certains domaines spécifiques, notamment le codage, où Orion n’offre pas toujours une valeur ajoutée par rapport à GPT-4. Alors que chaque version de GPT avait jusque-là montré des avancées majeures, la transition entre GPT-4 et Orion s’avère plus modeste, générant des interrogations sur la durabilité des progrès obtenus par le scaling. Le facteur limitant ici serait la qualité et la quantité de données d’entraînement disponibles, un problème pressenti depuis longtemps par les spécialistes de l’IA.
Le frein à la course aux données d’entraînement pour Orion
Les modèles d’IA comme GPT se basent sur des quantités massives de données pour s’entraîner et se perfectionner. D’ailleurs, OpenAI a multiplié les partenariats ces derniers mois, pour obtenir le maximum de source de données possible, comme Time Magazine. Cependant, les ressources en données de qualité semblent de plus en plus rares, ce qui affecte directement les performances d’Orion. En l’absence de nouvelles sources significatives, le modèle se heurte à une barrière que seule une réorientation stratégique pourrait surmonter. Ce manque de données qualitatives empêche OpenAI d’atteindre les améliorations spectaculaires qui caractérisaient les versions précédentes de ses modèles.
Dans ce contexte, OpenAI se heurte à une limite que les experts craignaient : l’augmentation pure et simple de la taille du modèle ne suffit plus à générer des résultats de haute qualité. Ce challenge semble marquer une nouvelle phase dans le développement de l’IA, où la simple expansion des ressources et du modèle doit être remplacée par des innovations plus ciblées et créatives.
Une équipe « foundations » pour de nouvelles solutions
Consciente des limitations actuelles, OpenAI a mis en place une équipe dédiée appelée « foundations« , chargée de trouver de nouvelles solutions pour faire progresser ses modèles. Une des pistes explorées consiste à utiliser des données synthétiques générées par d’autres modèles d’IA afin de compenser le manque de données de haute qualité. Cette approche permettrait de diversifier l’entraînement d’Orion tout en réduisant la dépendance aux données externes.
OpenAI envisage également un changement de paradigme en s’éloignant de la nomenclature traditionnelle GPT. Ce choix pourrait signaler un tournant dans la conception de ses modèles, en les orientant davantage vers des applications multimodales, capables de traiter le texte, les images et même les vidéos de manière intégrée. Ce changement reflète l’intention d’OpenAI de s’adapter aux nouvelles exigences de l’industrie et d’étudier des capacités qui dépassent le cadre des modèles textuels actuels.
Des attentes élevées pour Orion malgré les problématiques technologiques
Bien que le développement d’Orion rencontre des obstacles, les attentes restent fortes, notamment de la part de Microsoft, partenaire clé d’OpenAI. Selon Microsoft, Orion pourrait être en mesure de passer les examens de qualification de niveau doctorat, une déclaration qui souligne les avancées attendues en termes de raisonnement et de compréhension contextuelle. Ce potentiel laisse entrevoir des progrès, non pas forcément dans l’étendue des connaissances, mais dans la qualité des réponses générées par le modèle.
Ce ralentissement apparent pourrait ainsi être perçu comme une étape naturelle de maturation, où l’IA progresse moins par des bonds impressionnants et davantage par des améliorations qualitatives. Cette évolution rappelle l’histoire de l’informatique, où les premières avancées en puissance ont laissé place à des optimisations plus subtiles mais tout aussi impactantes.
Un virage stratégique pour l’avenir de l’IA
Face aux limites du scaling et au manque de données de haute qualité, OpenAI amorce une transition vers une IA plus qualitative, avec une approche innovante de la génération de données et une orientation multimodale. Le lancement d’Orion prévu pour début 2025 marquera une étape clé dans cette nouvelle phase de l’intelligence artificielle, où les attentes se concentrent sur des progrès plus nuancés mais tout aussi importants pour l’industrie.