1 September 2026 stellte Google DeepMind agentisches Videoverständnis in den Modellen Gemini 3.7 Flash, 3.6 Flash und 3.5 Flash-Lite vor. Anstatt einer festen Bildrate von einem Frame pro Sekunde entscheidet das Modell nun selbst, welche Videosegmente, Audiodaten oder Transkriptausschnitte geladen werden sollen und in welcher Auflösung. Der offizielle Unternehmensblog berichtet von einer Reduzierung des Tokenverbrauchs um bis zu 88 %, einer Kostensenkung um bis zu 66 % und einer Genauigkeitssteigerung um bis zu 7 % bei langen Videos.
Der Mechanismus funktioniert wie folgt: Das Modell erhält einen Link zum Video und die Anfrage des Nutzers, woraufhin es eine Abfolge von Aktionen plant – Transkript extrahieren, Bildrate in einem verdächtigen Intervall erhöhen oder auf Audio umschalten. Jeder Schritt wird von internen Überlegungen begleitet, und der endgültige Kontext wird nur aus relevanten Fragmenten gebildet. Dadurch wird eine einstündige Vorlesung, die im statischen Modus mehr als eine Million Token benötigte, nun mit etwa 100 Tausend verarbeitet.
Die Bewertung erfolgte auf den Benchmarks 1H-VideoQA und LVBench. Im agentischen Modus wurden 88 % weniger Token verbraucht, während die Antwortgenauigkeit um mehrere Prozentpunkte stieg. Google veröffentlicht jedoch keine detaillierten Ablationsstudien, die zeigen, welche Komponente – Modalitätsauswahl, adaptive Bildrate oder interne Planung – den Hauptbeitrag zur Qualitätssteigerung leistet.
Bisher verließen sich die meisten multimodalen Modelle, einschließlich früherer Gemini-Versionen und Lösungen anderer Labore, auf statische Verarbeitung: feste Bildrate und vollständiges Laden des Kontexts. Dieser Ansatz gewährleistete Reproduzierbarkeit, wurde aber bei langen Videos schnell ineffizient. Googles agentische Methode ähnelt Ansätzen, die bereits bei textbasierten Agenten mit Werkzeugen angewendet wurden, überträgt sie jedoch unter Beibehaltung der Multimodalität auf Videos.
Ein Vergleich mit parallelen Arbeiten zeigt, dass Google auf Effizienz speziell für lange Inhalte setzt, während einige andere Labore weiterhin statische Methoden mit höherer Frame-Auflösung verbessern. Der Unterschied in der Philosophie ist offensichtlich: Die eine Seite minimiert das Kontextvolumen, die andere maximiert dessen Dichte.
Für Entwickler bedeutet dies die Möglichkeit, Video-Agenten zu bauen, die stundenlange Aufnahmen ohne prohibitive Kosten analysieren. Es entstehen neue Szenarien – automatische Suche nach Schlüsselmomenten in Vorlesungen, präzise Videobearbeitung nach Beschreibung, Überwachung von Anomalien in industriellen Aufnahmen. Es bleibt jedoch unklar, wie stabil das Modell mit mehrdeutigen Anfragen umgeht, wenn relevante Fragmente über das gesamte Video verteilt sind.
Die unabhängige Verifizierung ist derzeit auf erste Berichte von Entwicklern beschränkt. Die Gemeinschaft wird das Verhalten wahrscheinlich an Randfällen testen: Videos mit schnellen Szenenwechseln, minderwertigem Audio oder widersprüchlichen Transkripten. Die nächsten interessanten Arbeiten werden sich genau mit der Fehlertoleranz der agentischen Planung und deren Einfluss auf die Generalisierung befassen.
Das wichtigste Ergebnis der Entwicklung ist, dass die Videoanalyse nicht mehr erschöpfend, sondern zielgerichtet wird, und dies verändert die Ökonomie von Anwendungen, die mit langen multimedialen Inhalten arbeiten.
