Neue Studie stellt Lernfähigkeiten von KI-Sprachmodellen in Frage

Bearbeitet von: Elena Weismann

Eine Sprache zu lernen, mag einfach erscheinen, da Babys weltweit diese Aufgabe innerhalb weniger Jahre meistern. Das Verständnis der Prozesse, die dieses Lernen ermöglichen, ist jedoch viel komplexer.

Während Linguisten elaborierte Theorien vorgeschlagen haben, haben jüngste Fortschritte im maschinellen Lernen eine neue Perspektive eröffnet und intensive Debatten unter Wissenschaftlern und Entwicklern künstlicher Intelligenz (KI) ausgelöst.

Sprachmodelle wie ChatGPT sind darauf ausgelegt, Wörter vorherzusagen und kohärente Sätze auf der Grundlage umfangreicher Textdatenbanken zu bilden. Experten betonen jedoch, dass dies nicht bedeutet, dass sie eine Sprache auf die gleiche Weise lernen wie Menschen.

„Selbst wenn sie etwas tun, das menschlichem Verhalten ähnelt, könnten sie dies aus völlig anderen Gründen tun“, sagte Tal Linzen, ein computergestützter Linguist an der New York University, in einem Interview.

Diese Unterscheidung ist nicht nur eine Frage der Semantik. Wenn diese Modelle tatsächlich Sprachen lernen, könnte dies eine Neubewertung traditioneller linguistischer Theorien erforderlich machen. Andernfalls, wenn sie nur oberflächlich das Lernen simulieren, könnte das maschinelle Lernen keine signifikanten Einblicke in die Linguistik bieten.

Noam Chomsky, eine herausragende Figur in der Linguistik, hat diese Technologie deutlich kritisiert. In einem Meinungsbeitrag, der 2023 in der New York Times veröffentlicht wurde, argumentierte Chomsky, dass Sprachmodelle für die Linguistik irrelevant seien, da sie sogar „unmögliche Sprachen“ lernen könnten – solche mit grammatikalischen Regeln, die in keiner bekannten menschlichen Sprache existieren.

Diese Kritik wurde von einer Gruppe computergestützter Linguisten in einer innovativen Studie herausgefordert, die auf der Konferenz der Association for Computational Linguistics 2024 präsentiert wurde.

Die Arbeit mit dem Titel „Mission: Impossible Language Models“, die auf dem Preprint-Server ArXiv veröffentlicht wurde, zeigte, dass Sprachmodelle mehr Schwierigkeiten haben, unmögliche Sprachen zu lernen als menschliche Sprachen.

Adele Goldberg, Linguistin an der Princeton University, lobte die Studie: „Es ist absolut zeitgemäß und wichtig.“

Im Laufe des 20. Jahrhunderts entwickelte sich die Linguistik von der Katalogisierung von Sprachen hin zum Verständnis der universellen Struktur, die ihnen zugrunde liegt. Chomsky leitete diese Bewegung, indem er vorschlug, dass Menschen über eine angeborene und spezialisierte Fähigkeit zur Verarbeitung von Sprachen verfügen. Diese angeborene Fähigkeit würde erklären, warum bestimmte grammatikalische Regeln in menschlichen Sprachen nie auftreten.

Laut Chomsky würde es, wenn das Erlernen von Sprachen wie andere Lernarten wäre, keine Präferenz für bestimmte grammatikalische Regeln geben. Das Vorhandensein eines spezialisierten Systems würde jedoch diese Prädisposition rechtfertigen.

„Es macht keinen Sinn zu sagen, dass Menschen eine Prädisposition haben, bestimmte Dinge zu lernen, ohne zu erkennen, dass sie auch eine Prädisposition haben, andere Dinge nicht zu lernen“, sagte Tim Hunter, Linguist an der University of California, Los Angeles.

Neueste Experimente mit unmöglichen Sprachen haben faszinierende Ergebnisse geliefert. Im Jahr 2020 schufen Jeff Mitchell und Jeffrey Bowers drei künstliche Sprachen mit bizarren grammatikalischen Regeln, um die Fähigkeiten der Modelle zu testen. Die Ergebnisse zeigten, dass die Modelle diese Sprachen fast so gut lernen konnten wie Englisch.

Im Jahr 2023 entschied sich jedoch Julie Kallini, eine Doktorandin an der Stanford University, diese Hypothese mit modernen, auf Transformatoren basierenden Modellen zu testen. Ihr Team schuf 12 unmögliche Sprachen, einschließlich Variationen wie umgekehrte Sätze oder Regelungen zur Verbvereinbarung, die auf Zeichen basieren, die vier Wörter nach dem Verb positioniert sind.

Die Modelle hatten Schwierigkeiten, diese künstlichen Sprachen zu lernen, was bestätigte, dass sie, obwohl sie leistungsstark sind, nicht allmächtig sind. Wie erwartet lernen sie Muster, die menschlichen Sprachen näher sind, leichter.

Die Ergebnisse deuten darauf hin, dass Sprachmodelle Präferenzen für bestimmte linguistische Muster aufweisen, die ähnlich, aber nicht identisch mit denen der Menschen sind. Dies eröffnet neue Forschungsansätze. „Das ist es, was ich an dem Artikel wirklich mag“, bemerkte Ryan Nefdt, Philosoph der kognitiven Wissenschaft. „Es eröffnet so viele Möglichkeiten für die Forschung.“

Das Team von Kallini arbeitet bereits an einer Folgestudie, die informell „Mission: Impossible 2“ genannt wird. Ziel ist es, zu erforschen, wie Veränderungen in neuronalen Netzwerken das Lernen unmöglicher Muster verbessern oder erschweren können.

Die Debatte über die Rolle von Sprachmodellen in der Linguistik ist noch lange nicht zu Ende, aber eines ist sicher: Die Zusammenarbeit zwischen Menschen und Maschinen hat das Potenzial, die Geheimnisse des linguistischen Lernens zu entschlüsseln und unser Verständnis der grundlegendsten Fähigkeit der Menschheit zu transformieren: Sprache.

Haben Sie einen Fehler oder eine Ungenauigkeit festgestellt?

Wir werden Ihre Kommentare so schnell wie möglich berücksichtigen.