Il 26 agosto 2026 il team Qwen di Alibaba ha rilasciato i pesi del modello Qwen3.8-Flash-Next — un'architettura MoE multimodale con 125 miliardi di parametri nel modello principale e ulteriori 51 miliardi nel layer di embedding N-gram, mentre per ogni token vengono attivati solo 6 miliardi di parametri. Questa è un'anteprima iniziale dell'architettura Qwen4, progettata per consentire alla community di adattare infrastrutture e strumenti prima del rilascio completo della famiglia Qwen4.
L'architettura del modello introduce quattro innovazioni chiave: attenzione ibrida che combina Gated DeltaNet (GDN) con Qwen Sparse Attention (QSA), connessioni residue gated, embedding N-gram e l'ottimizzatore Muon. Rispetto a Qwen3.7-Plus (397 miliardi di parametri, 17 miliardi attivi), l'addestramento è costato circa nove volte meno, mentre le prestazioni in attività di codifica e scenari d'ufficio sono notevolmente migliorate. Questo è il risultato non di un semplice scaling incrementale, ma di una rielaborazione radicale dei meccanismi di attivazione e ottimizzazione.
I benchmark ufficiali mostrano una superiorità rispetto alle versioni precedenti di Qwen e risultati competitivi: 62,5 su SWE-bench Pro (rispetto ai dati di Claude Opus 4.6), 73,9 su CoWorkBench, 58,7 su DeepSWE 1.1 e 84,5 su AndroidWorld. Il contesto nativo di 262 mila token si estende a 1 milioni tramite YaRN. Con un tasso di hit nella cache prefill di 90%, Qwen3.8-Flash-Next raggiunge un aumento di 8,6 volte della capacità di prefill rispetto a Qwen3.7-Plus, e con 1 milioni di token, QSA accelera l'attenzione di 7,6 volte in prefill e di 4,9 volte in decode.
È importante notare che la metodologia di valutazione si basa principalmente su test interni di Qwen, inclusi benchmark di coding agentico e d'ufficio. Al momento del rilascio non ci sono verifiche indipendenti di terze parti, e i confronti pubblicati sono selettivi — principalmente su attività in cui l'attivazione sparsa vince. Questa è una situazione tipica per i laboratori asiatici, dove i dettagli completi dell'addestramento e dei dati rimangono chiusi, ma Alibaba ha scelto di aprire i pesi per un feedback precoce della community.
Nel panorama dei modelli MoE, Qwen3.8-Flash-Next si distingue da DeepSeek-V4-Flash (284 miliardi / 13 miliardi attivi) per un minor numero di parametri attivi con prestazioni comparabili o migliori su attività agentiche. Questa differenza nelle scelte architetturali riflette un cambiamento più ampio negli approcci: mentre i laboratori americani continuano a investire nello scaling di modelli densi, i team cinesi puntano sempre più su sparsità, attenzione ibrida e layer di embedding specializzati (come N-gram) per ridurre i costi di addestramento e inferenza.
Il rilascio dei pesi aperti di Qwen3.8-Flash-Next consente agli sviluppatori di testare l'architettura prima del Qwen4 completo. vLLM e SGLang già forniscono supporto day-0 su GPU NVIDIA e AMD, accelerando l'integrazione pratica: gli ingegneri potranno verificare quanto l'attenzione ibrida QSA e l'ottimizzatore Muon si scalino su workload reali e in quali scenari l'attivazione sparsa offre il massimo vantaggio.
Resta poco chiaro quanto siano sostenibili i vantaggi dichiarati in caso di riproduzione indipendente e su una gamma più ampia di attività, inclusi scenari multimodali complessi che vanno oltre la codifica. Le prossime ricerche probabilmente si concentreranno su ablazioni dei singoli componenti architetturali e sul confronto di QSA con altri approcci ibridi e sparsi.
Il risultato principale del rilascio è la dimostrazione che, alla frontiera dell'IA, ulteriori progressi in efficienza si ottengono non solo aumentando i parametri, ma anche attraverso una rielaborazione radicale dei meccanismi di attivazione, dell'attenzione ibrida e dell'ottimizzazione. Nell'ecosistema dei pesi aperti, questo crea una reale concorrenza ai modelli di frontiera chiusi in termini di costo ed efficienza ingegneristica.
