1 September 2026 Google DeepMind memperkenalkan pemahaman video agen dalam model Gemini 3.7 Flash, 3.6 Flash, dan 3.5 Flash-Lite. Alih-alih pengambilan sampel bingkai tetap dengan frekuensi satu per detik, model kini secara mandiri memutuskan fragmen video, audio, atau transkrip mana yang akan dimuat dan pada resolusi berapa. Blog resmi perusahaan melaporkan pengurangan konsumsi token hingga 88%, penurunan biaya hingga 66%, dan peningkatan akurasi hingga 7% pada video panjang.
Mekanismenya bekerja sebagai berikut: model menerima tautan video dan permintaan pengguna, kemudian merencanakan serangkaian tindakan—mengekstrak transkrip, meningkatkan frekuensi bingkai pada interval yang mencurigakan, atau beralih ke audio. Setiap langkah disertai penalaran internal, dan konteks akhir hanya dibentuk dari fragmen yang relevan. Hasilnya, kuliah satu jam yang dalam mode statis membutuhkan lebih dari satu juta token kini diproses menggunakan sekitar 100 ribu.
Evaluasi dilakukan pada tolok ukur 1H-VideoQA dan LVBench. Dalam mode agen, token yang digunakan berkurang 88% lebih sedikit, dan akurasi jawaban meningkat beberapa persen. Namun, Google tidak memublikasikan studi ablasi terperinci yang menunjukkan komponen mana—pemilihan modalitas, frekuensi bingkai adaptif, atau perencanaan internal—yang memberikan kontribusi utama pada peningkatan kualitas.
Sebelumnya, sebagian besar model multimodal, termasuk versi Gemini sebelumnya dan solusi dari laboratorium lain, mengandalkan pemrosesan statis: frekuensi bingkai tetap dan pemuatan konteks penuh. Pendekatan ini menjamin reproduktifitas, tetapi dengan cepat menjadi tidak efisien pada video panjang. Metode agen Google mirip dengan pendekatan yang telah digunakan dalam agen teks dengan alat, tetapi menerapkannya pada video dengan tetap mempertahankan multimodalitas.
Perbandingan dengan karya paralel menunjukkan bahwa Google bertaruh pada efisiensi khusus untuk konten panjang, sementara beberapa laboratorium lain terus menyempurnakan metode statis dengan resolusi bingkai yang lebih tinggi. Perbedaan filosofi jelas: satu pihak meminimalkan volume konteks, pihak lain memaksimalkan kepadatannya.
Bagi pengembang, ini berarti kemampuan untuk membangun agen video yang menganalisis rekaman berjam-jam tanpa biaya yang mahal. Muncul skenario baru—pencarian otomatis momen-momen kunci dalam kuliah, pengeditan video yang presisi berdasarkan deskripsi, pemantauan anomali dalam rekaman industri. Namun, masih belum jelas seberapa stabil model menangani permintaan ambigu ketika fragmen yang relevan tersebar di seluruh video.
Verifikasi independen sejauh ini terbatas pada laporan awal dari pengembang. Komunitas kemungkinan akan menguji perilaku pada kasus tepi: video dengan pergantian adegan cepat, audio berkualitas rendah, atau transkrip yang kontradiktif. Karya menarik berikutnya akan difokuskan pada ketahanan perencanaan agen dan pengaruhnya terhadap generalisasi.
Kesimpulan utama dari pengembangan ini adalah analisis video menjadi tidak lagi menyeluruh, tetapi terarah, dan ini mengubah ekonomi aplikasi yang bekerja dengan konten multimedia panjang.
