Op 1 september 2026 heeft Google DeepMind agentisch videobegrip geïntroduceerd in de Gemini 3.7 Flash-, 3.6 Flash- en 3.5 Flash-Lite-modellen. In plaats van een vaste frameselectie van één frame per seconde, beslist het model nu zelf welke delen van de video, audio of transcriptie het moet laden en in welke resolutie. De officiële bedrijfsblog meldt een vermindering van het tokenverbruik tot 88%, een kostenverlaging tot 66% en een nauwkeurigheidstoename tot 7% bij lange video's.
Het mechanisme werkt als volgt: het model ontvangt een link naar de video en de gebruikersvraag, waarna het een reeks acties plant — transcriptie extraheren, de framerate verhogen in een verdacht interval of overschakelen naar audio. Elke stap gaat gepaard met interne redenering, en de uiteindelijke context wordt alleen gevormd uit relevante fragmenten. Als gevolg hiervan wordt een uur college, dat in statische modus meer dan een miljoen tokens vereiste, nu verwerkt met ongeveer 100 duizend tokens.
De evaluatie werd uitgevoerd op de benchmarks 1H-VideoQA en LVBench. In de agentische modus werd 88% minder tokens gebruikt, terwijl de nauwkeurigheid van de antwoorden met enkele procentpunten toenam. Google publiceert echter geen gedetailleerde ablatiestudies die laten zien welke component — modale selectie, adaptieve framerate of interne planning — de belangrijkste bijdrage levert aan de kwaliteitsverbetering.
Voorheen vertrouwden de meeste multimodale modellen, waaronder eerdere versies van Gemini en oplossingen van andere laboratoria, op statische verwerking: een vaste framerate en volledige contextlading. Deze aanpak garandeerde reproduceerbaarheid, maar werd al snel inefficiënt bij lange video's. De agentische methode van Google doet denken aan benaderingen die al werden toegepast bij tekstagenten met tools, maar brengt deze over naar video met behoud van multimodaliteit.
Vergelijking met parallel werk laat zien dat Google inzet op efficiëntie specifiek voor lange content, terwijl sommige andere laboratoria doorgaan met het verbeteren van statische methoden met een hogere frameresolutie. Het verschil in filosofie is duidelijk: de ene kant minimaliseert de contextomvang, de andere maximaliseert de dichtheid ervan.
Voor ontwikkelaars betekent dit de mogelijkheid om video-agenten te bouwen die urenlange opnames analyseren zonder buitensporige kosten. Er ontstaan nieuwe scenario's — automatische zoektocht naar sleutelmomenten in colleges, nauwkeurige videobewerking op basis van beschrijving, monitoring van afwijkingen in industriële opnames. Het blijft echter onduidelijk hoe stabiel het model omgaat met dubbelzinnige verzoeken wanneer relevante fragmenten verspreid zijn over de hele video.
Onafhankelijke verificatie is vooralsnog beperkt tot eerste rapporten van ontwikkelaars. De gemeenschap zal waarschijnlijk het gedrag testen op edge-cases: video's met snelle scènewisselingen, audio van lage kwaliteit of tegenstrijdige transcripties. Volgende interessante studies zullen zich richten op de robuustheid van agentische planning en de invloed ervan op generalisatie.
De belangrijkste uitkomst van de ontwikkeling is dat video-analyse niet langer uitputtend maar doelgericht wordt, en dit verandert de economie van toepassingen die met lange multimedia-inhoud werken.
