Eine Umfrage unter Wissenschaftlern zahlreicher globaler Institutionen zeigt, dass viele Hochschulforscher frustriert über die begrenzten Rechenressourcen sind, die für die Forschung im Bereich künstliche Intelligenz (KI) zur Verfügung stehen.
Berichten zufolge könnte die Unzugänglichkeit modernster Computersysteme ihre Fähigkeit behindern, große Sprachmodelle zu entwickeln und andere KI-Forschungen durchzuführen.
Insbesondere haben Forscher im akademischen Bereich oft keinen ausreichenden Zugang zu leistungsstarken Grafikprozessoren (GPUs), die für das Training von KI-Modellen unerlässlich sind und mehrere tausend Dollar kosten können. Im Gegensatz dazu haben Forscher in großen Technologieunternehmen in der Regel höhere Budgets, um in GPUs zu investieren.
„Jede zusätzliche GPU erhöht die Rechenleistung“, sagte Apoorv Khandelwal, ein Informatiker an der Brown University und einer der Autoren der Studie. „Industriegiganten haben möglicherweise Tausende von GPUs, während die akademische Welt nur wenige haben könnte.“
Stella Biderman, Geschäftsführerin der gemeinnützigen KI-Forschungsorganisation EleutherAI, bemerkte: „Die Kluft zwischen Wissenschaft und Industrie ist erheblich, sollte aber viel kleiner sein. Die Forschung zu dieser Diskrepanz ist sehr wichtig.“
Um die verfügbaren Rechenressourcen in der Wissenschaft zu bewerten, befragten Khandelwal und Kollegen 50 Forscher von 35 Institutionen. Unter den Befragten bewerteten 66% ihre Zufriedenheit mit der Rechenleistung mit 3 oder weniger auf einer Skala von 5, was auf weit verbreitete Unzufriedenheit hinweist.
Universitäten haben unterschiedliche Einrichtungen für den Zugang zu GPUs. Einige haben möglicherweise einen zentralen Rechencluster, der von Abteilungen und Studenten geteilt wird, wo Forscher GPU-Zeit beantragen können. Andere Institutionen können Maschinen kaufen, die direkt von Labormitgliedern genutzt werden.
Einige Forscher berichteten, dass sie Tage warten mussten, um auf GPUs zuzugreifen, und wiesen darauf hin, dass die Wartezeiten insbesondere um Projektfristen herum besonders lang sind.
Die Ergebnisse verdeutlichen auch globale Unterschiede beim Zugang. Ein Befragter erwähnte die Schwierigkeiten, GPUs im Nahen Osten zu finden. Nur 10% der Befragten gaben an, Zugang zu NVIDIAs H100 GPU zu haben, einem leistungsstarken Chip, der für die KI-Forschung entwickelt wurde.
Dieses Hindernis erschwert den Pre-Training-Prozess erheblich, der das Eingeben großer Datensätze in große Sprachmodelle umfasst. „Aufgrund der hohen Kosten wagen es die meisten Wissenschaftler nicht, sich mit der Pre-Training-Forschung zu beschäftigen“, bemerkte Khandelwal und betonte, dass der Mangel an Rechenleistung die zukünftige Entwicklung in diesem Bereich erheblich einschränken könnte.
„Für langfristigen Fortschritt ist ein gesundes und wettbewerbsfähiges akademisches Forschungsumfeld entscheidend“, sagte Ellie Pavlick, eine Wissenschaftlerin für Informatik und Linguistik an der Brown University und eine weitere Autorin der Studie. „Im Gegensatz dazu steht die Forschung in der Industrie oft vor erheblichen kommerziellen Druck, was manchmal zu einer Eile zu Ergebnissen führt und die Erkundung unbekannter Bereiche verringert.“
Das Team untersuchte auch, wie Forscher in einem Umfeld mit begrenzten Rechenressourcen effizienter arbeiten können. Sie berechneten die Zeit, die benötigt wird, um mehrere große Sprachmodelle in Hardwareumgebungen mit niedrigen Ressourcen unter Verwendung von 1 bis 8 GPUs vorzutraining. Trotz der Ressourcenbeschränkungen gelang es den Forschern, mehrere Modelle zu trainieren, obwohl der Prozess länger dauerte und effizientere Methoden erforderten.