Les initiés de l'industrie technologique commencent à reconnaître que la croissance des grands modèles de langage (LLM) ralentit, malgré l'augmentation des données et de la puissance de calcul.
Dans la Silicon Valley, une conviction croissante émerge selon laquelle les avancées en intelligence artificielle (IA) ne suivent pas le rythme des attentes antérieures, en particulier après le lancement enthousiaste de ChatGPT il y a deux ans. Au départ, les partisans pensaient qu'une croissance exponentielle suivrait à mesure que les géants de la technologie investissaient massivement dans les ressources.
Cependant, les experts mettent désormais en garde contre l'idée que se fier uniquement à plus de données et à une puissance de calcul accrue pourrait ne pas mener à l'émergence attendue de l'intelligence générale artificielle (AGI). Gary Marcus, un critique de l'IA de premier plan, a déclaré : "Les évaluations astronomiques des entreprises comme OpenAI et Microsoft reposent principalement sur l'idée que les LLM deviendront AGI s'ils continuent à s'étendre. C'est juste des absurdités."
Un défi majeur réside dans la quantité limitée de données linguistiques disponibles pour former les modèles. Scott Stevenson, responsable de l'IA chez Spellbook, a noté que se concentrer exclusivement sur les données linguistiques conduira inévitablement à une stagnation.
Sasha Luccioni de Hugging Face a soutenu que l'obsession de l'industrie pour la taille au détriment de l'objectif est une faille fondamentale. Elle a déclaré : "La quête de l'AGI a toujours été irréaliste, et l'approche 'plus c'est mieux' devait atteindre une limite, ce que nous voyons maintenant."
Malgré ces préoccupations, certains dans l'industrie soutiennent que le progrès vers une IA de niveau humain reste imprévisible. Le PDG d'OpenAI, Sam Altman, a affirmé : "Il n'y a pas de mur", sans préciser sa déclaration.
OpenAI a récemment reporté la sortie de son successeur tant attendu de GPT-4 en raison d'attentes non satisfaites concernant ses capacités. L'entreprise se concentre désormais sur l'optimisation de ses capacités existantes plutôt que sur une simple augmentation des données.
Stevenson a souligné que le changement d'OpenAI vers l'amélioration du raisonnement plutôt que l'expansion des données a conduit à des améliorations significatives. Il a comparé l'évolution de l'IA à la découverte du feu, suggérant qu'il est temps d'utiliser les avancées pour des tâches spécifiques plutôt que d'ajouter simplement du combustible.