Jüngste Forschungen von fünf rechnergestützten Linguisten haben Noam Chomskys Behauptung getestet, dass Sprachmodelle 'unmögliche' Sprachen lernen können. Chomsky hatte argumentiert, dass diese Modelle problemlos Sprachen beherrschen könnten, die von Regeln bestimmt werden, die sich von jeder bekannten menschlichen Sprache unterscheiden.
Die Studie mit dem Titel 'Mission: Impossible Language Models' erhielt den Preis für das beste Papier auf der Konferenz der Association for Computational Linguistics 2024. Die Autoren fanden heraus, dass Sprachmodelle mehr Schwierigkeiten hatten, diese unmöglichen Sprachen zu lernen, als mit Standardenglisch.
Adele Goldberg, Linguistin an der Princeton University, lobte das Papier als 'absolut zeitgemäß und wichtig' und deutete an, dass solche Modelle Forschern helfen könnten, das Babbeln von Säuglingen zu verstehen.
Chomskys Theorien, die in der Mitte des 20. Jahrhunderts an Bedeutung gewannen, postulierten, dass Menschen über einen angeborenen mentalen Mechanismus zur Sprachverarbeitung verfügen, was das Fehlen bestimmter grammatikalischer Regeln in bekannten Sprachen erklärt. Er argumentierte, dass, wenn das Erlernen von Sprache ähnlich wie andere Lernarten wäre, es bestimmte grammatikalische Regeln nicht bevorzugen würde.
Im Gegensatz dazu zeigten die jüngsten Experimente von Mitchell und Bowers im Jahr 2020, dass Sprachmodelle mit erstaunlicher Genauigkeit unmögliche Sprachen lernen konnten. Kallini, eine Doktorandin an der Stanford University, wollte jedoch Chomskys Behauptungen mithilfe moderner Transformatorenmodelle weiter untersuchen, die in der aktuellen Sprachverarbeitung vorherrschen.
Das Team von Kallini erstellte ein Dutzend unmöglicher Sprachen, indem es englische Texte manipulierte, und stellte fest, dass die Modelle, die auf diesen Sprachen trainiert wurden, mit der Zeit Fortschritte machten, aber immer noch Herausforderungen gegenüberstanden im Vergleich zu denen, die auf Standardenglisch trainiert wurden.
Diese Forschung zeigt, dass Sprachmodelle Vorlieben beim Lernen bestimmter linguistischer Muster zeigen, die menschlichen Tendenzen ähnlich sind, aber sie spiegeln sie nicht unbedingt wider. Die Ergebnisse deuten auf ein komplexes Zusammenspiel zwischen neuronalen Netzwerken und dem Spracherwerb beim Menschen hin.
Während die Forscher weiterhin diese Dynamiken erkunden, eröffnet die Studie neue Wege für weitere Untersuchungen zur Natur des Sprachenlernens und den Fähigkeiten künstlicher Intelligenz, komplexe linguistische Strukturen zu verarbeiten.