Pada 26 Agustus 2026, tim Qwen dari Alibaba merilis bobot model Qwen3.8-Flash-Next — arsitektur MoE multimodal dengan 125 miliar parameter model utama dan tambahan 51 miliar di lapisan embedding N-gram, dengan hanya 6 miliar parameter yang diaktifkan per token. Ini adalah pratinjau awal arsitektur Qwen4, yang dimaksudkan agar komunitas dapat mengadaptasi infrastruktur dan alat sebelum rilis penuh keluarga Qwen4.
Arsitektur model memperkenalkan empat inovasi kunci: perhatian hibrida yang menggabungkan Gated DeltaNet (GDN) dengan Qwen Sparse Attention (QSA), koneksi residual bergerbang, embedding N-gram, dan pengoptimal Muon. Dibandingkan dengan Qwen3.7-Plus (397 miliar parameter, 17 miliar aktif), pelatihan sekitar sembilan kali lebih murah, sementara kinerja dalam tugas pengkodean dan skenario kantor meningkat secara signifikan. Ini adalah hasil dari bukan sekadar penskalaan inkremental, tetapi perombakan radikal pada mekanisme aktivasi dan optimasi.
Tolok ukur resmi menunjukkan keunggulan atas versi Qwen sebelumnya dan hasil yang kompetitif: 62,5 pada SWE-bench Pro (dibandingkan dengan data Claude Opus 4.6), 73,9 pada CoWorkBench, 58,7 pada DeepSWE 1.1, dan 84,5 pada AndroidWorld. Konteks asli 262 ribu token diperluas menjadi 1 juta melalui YaRN. Dengan kondisi 90% cache prefill yang cocok, Qwen3.8-Flash-Next mencapai peningkatan throughput prefill 8,6 kali lipat dibandingkan dengan Qwen3.7-Plus, dan dengan 1 juta token, QSA memberikan percepatan perhatian 7,6 kali pada prefill dan 4,9 kali pada decode.
Penting untuk dicatat bahwa metodologi evaluasi terutama bergantung pada pengujian internal Qwen, termasuk pengkodean agen dan tolok ukur kantor. Pada saat rilis, tidak ada verifikasi pihak ketiga independen, dan perbandingan yang dipublikasikan dilakukan secara selektif — terutama pada tugas-tugas di mana aktivasi jarang menang. Ini adalah situasi umum untuk laboratorium di Asia, di mana detail lengkap pelatihan dan data tetap tertutup, namun Alibaba memilih untuk membuka bobot untuk umpan balik awal dari komunitas.
Dalam lanskap model MoE, Qwen3.8-Flash-Next berbeda dari DeepSeek-V4-Flash (284 miliar / 13 miliar aktif) dengan jumlah parameter aktif yang lebih sedikit namun kinerja yang sebanding atau lebih baik pada tugas agen. Perbedaan dalam pilihan arsitektur ini mencerminkan pergeseran yang lebih luas dalam pendekatan: sementara laboratorium Amerika terus berinvestasi dalam penskalaan model padat, tim Tiongkok semakin mengandalkan sparsity, perhatian hibrida, dan lapisan embedding khusus (seperti N-gram) untuk mengurangi biaya pelatihan dan inferensi.
Rilis bobot terbuka Qwen3.8-Flash-Next memungkinkan pengembang untuk menguji arsitektur sebelum Qwen4 penuh. vLLM dan SGLang sudah menyediakan dukungan day-0 pada GPU NVIDIA dan AMD, dan ini mempercepat integrasi praktis: para insinyur akan dapat memverifikasi seberapa baik perhatian hibrida QSA dan pengoptimal Muon menskalakan pada beban kerja nyata dan dalam skenario apa aktivasi jarang memberikan keuntungan maksimal.
Masih belum jelas seberapa stabil keunggulan yang diklaim ketika direproduksi secara independen dan pada spektrum tugas yang lebih luas, termasuk skenario multimodal kompleks di luar pengkodean. Pekerjaan penelitian berikutnya kemungkinan akan fokus pada ablasi komponen arsitektur individual dan perbandingan QSA dengan pendekatan hibrida dan jarang lainnya.
Kesimpulan utama dari rilis ini adalah demonstrasi bahwa di garis depan AI, kemajuan lebih lanjut dalam efisiensi dicapai tidak hanya melalui peningkatan parameter, tetapi juga melalui perombakan radikal pada mekanisme aktivasi, perhatian hibrida, dan optimasi. Dalam ekosistem bobot terbuka, ini menciptakan persaingan nyata dengan model frontier tertutup berdasarkan biaya dan efisiensi rekayasa.
