Vào tháng 1 năm 2026, Google DeepMind đã giới thiệu khả năng hiểu video theo tác tử trong các mô hình Gemini 3.7 Flash, 3.6 Flash và 3.5 Flash-Lite. Thay vì lấy mẫu khung hình cố định với tần suất một khung mỗi giây, mô hình giờ đây tự quyết định nên tải những phân đoạn video, âm thanh hoặc bản ghi âm nào và ở độ phân giải nào. Blog chính thức của công ty báo cáo giảm mức tiêu thụ token xuống còn 88%, giảm chi phí xuống còn 66% và tăng độ chính xác lên tới 7% trên các video dài.
Cơ chế hoạt động như sau: mô hình nhận được liên kết đến video và yêu cầu của người dùng, sau đó lên kế hoạch cho một chuỗi hành động — trích xuất bản ghi âm, tăng tần suất khung hình trong khoảng thời gian nghi ngờ hoặc chuyển sang âm thanh. Mỗi bước đi kèm với suy luận nội bộ, và ngữ cảnh cuối cùng chỉ được hình thành từ các phân đoạn có liên quan. Kết quả là một bài giảng kéo dài một giờ, mà trong chế độ tĩnh cần hơn một triệu token, giờ đây được xử lý với khoảng 100 nghìn token.
Việc đánh giá được thực hiện trên các bộ tiêu chuẩn 1H-VideoQA và LVBench. Trong chế độ tác tử, số token sử dụng ít hơn 88% và độ chính xác của câu trả lời tăng lên vài phần trăm. Tuy nhiên, Google không công bố các nghiên cứu cắt bỏ chi tiết cho thấy thành phần cụ thể nào — lựa chọn phương thức, tần suất khung hình thích ứng hay lập kế hoạch nội bộ — đóng góp chính vào sự cải thiện chất lượng.
Trước đây, hầu hết các mô hình đa phương thức, bao gồm các phiên bản trước của Gemini và các giải pháp từ các phòng thí nghiệm khác, dựa vào xử lý tĩnh: tần suất khung hình cố định và tải toàn bộ ngữ cảnh. Cách tiếp cận này đảm bảo tính tái lập nhưng nhanh chóng trở nên kém hiệu quả trên các video dài. Phương pháp tác tử của Google tương tự như các cách tiếp cận đã được sử dụng trong các tác tử văn bản có công cụ, nhưng chuyển chúng sang video trong khi vẫn duy trì tính đa phương thức.
So sánh với các công trình song song cho thấy Google đặt cược vào hiệu quả đặc biệt cho nội dung dài, trong khi một số phòng thí nghiệm khác tiếp tục cải tiến các phương pháp tĩnh với độ phân giải khung hình cao hơn. Sự khác biệt về triết lý là rõ ràng: một bên giảm thiểu khối lượng ngữ cảnh, bên kia tối đa hóa mật độ của nó.
Đối với các nhà phát triển, điều này có nghĩa là có thể xây dựng các tác tử video phân tích các bản ghi dài nhiều giờ mà không phải chịu chi phí quá cao. Các kịch bản mới xuất hiện — tìm kiếm tự động các khoảnh khắc quan trọng trong bài giảng, chỉnh sửa video chính xác theo mô tả, giám sát bất thường trong các bản ghi công nghiệp. Tuy nhiên, vẫn chưa rõ mô hình xử lý ổn định đến mức nào với các yêu cầu mơ hồ khi các phân đoạn có liên quan được phân bố khắp video.
Việc xác minh độc lập hiện chỉ giới hạn ở các báo cáo ban đầu từ các nhà phát triển. Cộng đồng có thể sẽ kiểm tra hành vi trên các trường hợp biên: video có sự thay đổi cảnh nhanh, âm thanh chất lượng thấp hoặc bản ghi âm mâu thuẫn. Các nghiên cứu thú vị tiếp theo sẽ tập trung vào khả năng chịu lỗi của việc lập kế hoạch tác tử và ảnh hưởng của nó đến khả năng khái quát hóa.
Kết quả chính của sự phát triển này là phân tích video không còn mang tính toàn diện mà trở nên có mục tiêu, và điều này thay đổi nền kinh tế của các ứng dụng làm việc với nội dung đa phương tiện dài.
