Im Mai 2025 erschien auf arXiv die Arbeit OpenDeepThink, die einen neuen Ansatz für paralleles Schlussfolgern mittels Bradley-Terry-Aggregation vorstellt. Die Autoren präsentieren eine Methode, bei der verschiedene Argumentationsketten konkurrieren und zusammengeführt werden, ohne dass ein explizites Reinforcement Learning erforderlich ist. Die Kernhypothese des Artikels besagt, dass dieser Ansatz bei komplexen Aufgaben einen deutlichen Qualitätsgewinn liefert und gleichzeitig die Recheneffizienz im Vergleich zu herkömmlichen Ensemble-Methoden wahrt.
Technisch gesehen erstellt OpenDeepThink mehrere unabhängige Argumentationspfade, von denen jeder mit einer finalen Antwort abschließt. Anschließend wird ein Bradley-Terry-Modell, das auf Paaren von „besten“ und „schlechtesten“ Antworten trainiert wurde, zur Rangordnung und Aggregation der Ergebnisse eingesetzt. Im Gegensatz zum klassischen Majority Voting oder einer einfachen Mittelwertbildung der Logits berücksichtigt das Verfahren die relative Stärke jedes Pfades, was besonders bei widersprüchlichen Zwischenschritten entscheidend ist.
Die Autoren belegen ihre Ergebnisse anhand mathematischer Benchmarks und logischer Schlussfolgerungsaufgaben. Bei GSM8K zeigt sich eine Steigerung von etwa 4 bis 5 Punkten gegenüber dem Basismodell, während die Differenz bei anspruchsvolleren Datensätzen wie MATH sogar 7 Punkte erreicht. Dabei bleibt die Anzahl der parallelen Ketten auf acht begrenzt, wodurch sich die Inferenzkosten in einem vernünftigen Rahmen bewegen.
Die Bewertungsmethode wirft jedoch einige Fragen auf. Die Autoren nutzen zwar interne Paare für das Training des Bradley-Terry-Modells, liefern jedoch keine detaillierte Beschreibung dazu, wie genau diese Paare zusammengestellt wurden und wie repräsentativ sie für reale Fehlerverteilungen sind. Mangels externer Validierung auf unabhängigen Daten bleiben Zweifel an der Verallgemeinerbarkeit der Ergebnisse bestehen.
Im Vergleich zu früheren Arbeiten wie Self-Consistency von Wang et al. und neueren Tree-of-Thoughts-Ansätzen nimmt OpenDeepThink eine Zwischenposition ein. Die Methode vermeidet den für Baumsuchen typischen exponentiellen Rechenaufwand, nutzt aber dennoch einen feineren Ranking-Mechanismus als das einfache Abstimmen. Dies rückt den Ansatz in die Nähe von RLHF-Konzepten, verzichtet jedoch auf die Notwendigkeit eines vollständigen Belohnungstrainingszyklus.
Eine wesentliche Konsequenz dieser Arbeit ist die Möglichkeit, paralleles Schlussfolgern zu skalieren, ohne die Kosten proportional in die Höhe zu treiben. Sollte sich die Methode bei einem breiteren Aufgabenspektrum bewähren, könnte sie den Umgang mit Inference-Time Compute in Produktionssystemen verändern, in denen das Token-Budget begrenzt ist.
Unklar bleibt bislang, wie robust die Bradley-Terry-Aggregation reagiert, wenn die Fehlerverteilung stark von den Trainingspaaren abweicht. Künftige Studien werden voraussichtlich die Übertragbarkeit der Methode auf die Codegenerierung und mehrsprachige Aufgaben prüfen sowie Vergleiche mit alternativen Techniken wie Process Reward Models anstellen.
Letztlich zeigt OpenDeepThink, dass sich die Qualität von Schlussfolgerungen auch ohne radikale Architekturänderungen erheblich steigern lässt, indem bereits vorhandene Trajektorien intelligenter aggregiert werden.
