A maggio 2025 è stato pubblicato su arXiv il paper OpenDeepThink, che propone un approccio innovativo al ragionamento parallelo basato sul meccanismo di aggregazione Bradley-Terry. Gli autori presentano un metodo capace di far competere e convergere diverse catene di pensiero senza ricorrere esplicitamente all'apprendimento per rinforzo. La tesi centrale del lavoro sostiene che tale approccio garantisca un miglioramento significativo delle prestazioni in compiti complessi, mantenendo un'efficienza computazionale superiore rispetto ai metodi di ensembling tradizionali.
Sotto il profilo tecnico, OpenDeepThink sviluppa molteplici traiettorie di ragionamento indipendenti, ognuna delle quali produce una risposta finale. Successivamente, viene applicato un modello Bradley-Terry addestrato su coppie di risposte "migliore-peggiore" per classificare e aggregare i risultati ottenuti. Diversamente dal classico voto di maggioranza o dalla semplice media dei logit, questo metodo considera la forza relativa di ogni percorso, un aspetto cruciale quando si presentano passaggi intermedi contrastanti.
Gli autori mostrano i risultati ottenuti su vari benchmark matematici e test di inferenza logica. Su GSM8K, l'incremento è di circa 4-5 punti rispetto al modello base, mentre su dataset più complessi come MATH il divario raggiunge i 7 punti. È interessante notare come il numero di catene parallele sia limitato a otto, permettendo così di mantenere i costi di inferenza entro limiti ragionevoli.
Tuttavia, la metodologia di valutazione solleva alcuni interrogativi. Gli autori impiegano coppie di dati interne per l'addestramento del modello Bradley-Terry, ma non forniscono una descrizione dettagliata di come siano state generate o di quanto siano rappresentative delle reali distribuzioni degli errori. La mancanza di una validazione esterna su dati indipendenti lascia margini di incertezza riguardo alla generalizzabilità dei risultati.
Rispetto a lavori precedenti, come il "Self-Consistency" di Wang et al. o i più recenti approcci "Tree-of-Thoughts", OpenDeepThink si colloca in una posizione intermedia. Il metodo evita la crescita esponenziale del carico computazionale tipica della ricerca ad albero, pur adottando un meccanismo di ranking più raffinato del semplice voto. Ciò lo avvicina ai concetti del RLHF, ma senza la necessità di un ciclo completo di addestramento basato sulle ricompense.
Un'implicazione rilevante di questo lavoro è la possibilità di scalare il ragionamento parallelo senza un aumento proporzionale dei costi. Se il metodo dovesse confermarsi efficace su una gamma più ampia di compiti, potrebbe trasformare l'approccio al calcolo in fase di inferenza per i sistemi di produzione, dove il budget per i token è limitato.
Resta da chiarire quanto l'aggregazione Bradley-Terry sia robusta di fronte a distribuzioni di errori molto diverse da quelle viste durante l'addestramento. Le ricerche future testeranno probabilmente la trasferibilità del metodo alla generazione di codice e ai task multilingua, confrontandolo inoltre con tecniche alternative come i Process Reward Models.
In definitiva, OpenDeepThink dimostra che, anche senza modifiche radicali all'architettura, è possibile migliorare sensibilmente la qualità del ragionamento attraverso un'aggregazione più intelligente delle traiettorie già esistenti.
