Führungskräfte im KI-Sektor bewerten den traditionellen Ansatz, große Mengen an Daten zum Trainieren von Sprachmodellen (LLMs) zu verwenden, neu. Branchenführer von Unternehmen wie OpenAI, Meta und Google erkunden effizientere Trainingsmethoden, da Bedenken über die Grenzen der aktuellen Skalierungspraktiken wachsen.
Historisch gesehen wurde angenommen, dass mehr Daten zu intelligenteren Modellen führen. Experten wie Alexandr Wang, CEO von Scale AI, heben hervor, dass die Branche nun in Frage stellt, ob dieses Skalierungsgesetz weiterhin gültig bleibt. Aidan Gomez, CEO von Cohere, beschreibt die aktuelle Methode als 'sinnlos' und plädiert für kleinere, kosteneffiziente Modelle.
Richard Socher, ehemaliger Salesforce-Executive, schlägt eine alternative Trainingsmethode vor, bei der Fragen in Computer-Code übersetzt werden, was Ungenauigkeiten reduzieren und die Fähigkeiten der Modelle verbessern könnte. Während einige glauben, dass die Branche sich einem Skalierungsstopp nähert, argumentiert Microsoft-CTO Kevin Scott, dass signifikante Erträge aus der Skalierung weiterhin möglich sind.
Die kürzlich von OpenAI veröffentlichte o1 zielt darauf ab, bestehende Modelle zu verbessern, indem sie sich auf quantitative Fragen konzentriert, obwohl sie mehr Rechenleistung benötigt und langsamer ist als ihr Vorgänger, ChatGPT. Die fortlaufende Evolution der Trainingsmethoden in der KI spiegelt einen kritischen Wandel in der Branche wider, während sie sich bemüht, intelligentere Systeme zu entwickeln.