1 września 2026 roku Google DeepMind zaprezentował agentowe rozumienie wideo w modelach Gemini 3.7 Flash, 3.6 Flash i 3.5 Flash-Lite. Zamiast stałego próbkowania klatek z częstotliwością jednej na sekundę, model samodzielnie decyduje teraz, które fragmenty wideo, dźwięku lub transkrypcji warto załadować i w jakiej rozdzielczości. Oficjalny blog firmy informuje o ograniczeniu zużycia tokenów do 88 %, obniżeniu kosztów o 66 % oraz wzroście dokładności o 7 % w przypadku długich nagrań wideo.
Mechanizm działa w następujący sposób: model otrzymuje link do wideo oraz zapytanie użytkownika, po czym planuje sekwencję działań — wyodrębnienie transkrypcji, zwiększenie częstotliwości klatek w podejrzanym interwale lub przełączenie się na ścieżkę dźwiękową. Każdemu krokowi towarzyszy wewnętrzne rozumowanie, a ostateczny kontekst jest tworzony wyłącznie z istotnych fragmentów. W rezultacie godzinny wykład, który w trybie statycznym wymagał ponad miliona tokenów, jest teraz przetwarzany przy użyciu około 100 tysięcy.
Ocena została przeprowadzona na benchmarkach 1H-VideoQA i LVBench. W trybie agentowym zużyto o 88 % mniej tokenów, a dokładność odpowiedzi wzrosła o kilka procent. Jednocześnie Google nie publikuje szczegółowych badań ablacyjnych pokazujących, który konkretnie komponent — wybór modalności, adaptacyjna częstotliwość klatek czy wewnętrzne planowanie — ma największy wkład we wzrost jakości.
Wcześniej większość modeli multimodalnych, w tym poprzednie wersje Gemini oraz rozwiązania innych laboratoriów, opierała się na przetwarzaniu statycznym: stałej częstotliwości klatek i pełnym ładowaniu kontekstu. Takie podejście gwarantowało powtarzalność, ale szybko stawało się nieefektywne przy długich nagraniach wideo. Metoda agentowa Google przypomina podejścia stosowane już w agentach tekstowych z narzędziami, jednak przenosi je na grunt wideo przy zachowaniu multimodalności.
Porównanie z równoległymi pracami pokazuje, że Google stawia na efektywność właśnie w przypadku długich treści, podczas gdy niektóre inne laboratoria kontynuują doskonalenie metod statycznych z wyższą rozdzielczością klatek. Różnica w filozofii jest oczywista: jedna strona minimalizuje objętość kontekstu, druga — maksymalizuje jego gęstość.
Dla deweloperów oznacza to możliwość budowania agentów wideo, którzy analizują wielogodzinne nagrania bez zaporowych kosztów. Pojawiają się nowe scenariusze — automatyczne wyszukiwanie kluczowych momentów w wykładach, precyzyjna edycja wideo na podstawie opisu, monitorowanie anomalii w nagraniach przemysłowych. Pozostaje jednak niejasne, jak stabilnie model radzi sobie z niejednoznacznymi zapytaniami, gdy istotne fragmenty są rozproszone w całym materiale wideo.
Niezależna weryfikacja jest na razie ograniczona do pierwszych raportów deweloperów. Społeczność prawdopodobnie sprawdzi zachowanie modelu w przypadkach brzegowych: wideo z szybką zmianą scen, niską jakością dźwięku lub sprzecznymi transkrypcjami. Kolejne interesujące prace będą poświęcone właśnie odporności planowania agentowego na błędy oraz jego wpływowi na generalizację.
Głównym wnioskiem z tych prac jest to, że analiza wideo przestaje być wyczerpująca, a staje się celowa, co zmienia ekonomikę aplikacji pracujących z długimi treściami multimedialnymi.
