Insider der Technologiebranche beginnen anzuerkennen, dass das Wachstum großer Sprachmodelle (LLMs) sich verlangsamt, trotz zunehmender Daten und Rechenleistung.
Im Silicon Valley wächst der Glaube, dass Fortschritte in der künstlichen Intelligenz (KI) nicht mit den früheren Erwartungen Schritt halten, insbesondere nach dem enthusiastischen Start von ChatGPT vor zwei Jahren. Zunächst glaubten die Befürworter, dass exponentielles Wachstum folgen würde, während die Technologieriesen massiv in Ressourcen investierten.
Experten warnen jedoch nun, dass die ausschließliche Abhängigkeit von mehr Daten und Rechenleistung möglicherweise nicht zur erwarteten Entstehung einer allgemeinen künstlichen Intelligenz (AGI) führen wird. Gary Marcus, ein prominenter KI-Kritiker, erklärte: "Die astronomischen Bewertungen von Unternehmen wie OpenAI und Microsoft basieren weitgehend auf der Idee, dass LLMs AGI werden, wenn sie weiterhin wachsen. Das ist einfach Unsinn."
Eine wesentliche Herausforderung ist die begrenzte Menge an sprachlichen Daten, die für das Training von Modellen zur Verfügung steht. Scott Stevenson, Leiter der KI bei Spellbook, stellte fest, dass die ausschließliche Konzentration auf Sprachdaten zwangsläufig zu einer Stagnation führen wird.
Sasha Luccioni von Hugging Face argumentierte, dass die Besessenheit der Branche für Größe über Zweck einen grundlegenden Fehler darstellt. Sie bemerkte: "Die Verfolgung von AGI war immer unrealistisch, und der Ansatz 'größer ist besser' musste eine Grenze erreichen, die wir jetzt sehen."
Trotz dieser Bedenken sind einige in der Branche der Ansicht, dass der Fortschritt in Richtung menschlicher KI unvorhersehbar bleibt. Sam Altman, CEO von OpenAI, behauptete: "Es gibt keine Wand", ohne seine Aussage näher zu erläutern.
OpenAI hat kürzlich die Veröffentlichung seines mit Spannung erwarteten Nachfolgers von GPT-4 aufgrund unerfüllter Erwartungen an dessen Fähigkeiten verschoben. Das Unternehmen konzentriert sich nun darauf, bestehende Fähigkeiten zu optimieren, anstatt einfach nur die Datenmenge zu erhöhen.
Stevenson hob hervor, dass der Strategiewechsel von OpenAI hin zu einer Verbesserung des Denkens anstelle von Datenexpansion zu erheblichen Verbesserungen geführt hat. Er verglich die Entwicklung von KI mit der Entdeckung des Feuers und schlug vor, dass es an der Zeit sei, Fortschritte für spezifische Aufgaben zu nutzen, anstatt einfach nur mehr Brennstoff hinzuzufügen.