1 settembre 2026 Google DeepMind ha presentato la comprensione agentiva dei video nei modelli Gemini 3.7 Flash, 3.6 Flash e 3.5 Flash-Lite. Invece di un campionamento fisso di fotogrammi a una frequenza di uno al secondo, il modello ora decide autonomamente quali frammenti di video, audio o trascrizione caricare e a quale risoluzione. Il blog ufficiale dell'azienda riporta una riduzione del consumo di token fino al 88 %, una diminuzione dei costi fino al 66 % e un aumento della precisione fino al 7 % su video lunghi.
Il meccanismo funziona come segue: il modello riceve un link al video e la richiesta dell'utente, quindi pianifica una sequenza di azioni: estrarre la trascrizione, aumentare la frequenza dei fotogrammi in un intervallo sospetto o passare all'audio. Ogni passaggio è accompagnato da un ragionamento interno e il contesto finale è formato solo da frammenti rilevanti. Di conseguenza, una lezione di un'ora che in modalità statica richiedeva più di un milione di token ora viene elaborata utilizzando circa 100 mila.
La valutazione è stata condotta sui benchmark 1H-VideoQA e LVBench. In modalità agentiva, i token utilizzati sono stati il 88 % in meno e la precisione delle risposte è aumentata di diversi punti percentuali. Tuttavia, Google non pubblica studi di ablazione dettagliati che mostrino quale componente specifica - scelta della modalità, frequenza dei fotogrammi adattiva o pianificazione interna - contribuisce principalmente al miglioramento della qualità.
In precedenza, la maggior parte dei modelli multimodali, incluse le versioni precedenti di Gemini e le soluzioni di altri laboratori, si affidava all'elaborazione statica: frequenza dei fotogrammi fissa e caricamento completo del contesto. Questo approccio garantiva riproducibilità, ma diventava rapidamente inefficiente su video lunghi. Il metodo agentivo di Google ricorda approcci già utilizzati negli agenti testuali con strumenti, ma li trasferisce ai video mantenendo la multimodalità.
Il confronto con lavori paralleli mostra che Google punta sull'efficienza proprio per i contenuti lunghi, mentre alcuni altri laboratori continuano a perfezionare metodi statici con una risoluzione dei fotogrammi più alta. La differenza di filosofia è evidente: una parte minimizza il volume del contesto, l'altra ne massimizza la densità.
Per gli sviluppatori ciò significa la possibilità di costruire agenti video che analizzano registrazioni di molte ore senza costi proibitivi. Emergono nuovi scenari: ricerca automatica di momenti chiave in lezioni, editing video preciso basato su descrizioni, monitoraggio di anomalie in registrazioni industriali. Tuttavia, rimane poco chiaro quanto il modello gestisca in modo stabile richieste ambigue quando i frammenti rilevanti sono distribuiti in tutto il video.
La verifica indipendente è finora limitata ai primi rapporti degli sviluppatori. La comunità probabilmente testerà il comportamento su casi limite: video con rapidi cambi di scena, audio di bassa qualità o trascrizioni contraddittorie. I prossimi lavori interessanti saranno dedicati proprio alla tolleranza ai guasti della pianificazione agentiva e alla sua influenza sulla generalizzazione.
Il risultato principale dello sviluppo è che l'analisi video diventa non esaustiva ma mirata, e questo cambia l'economia delle applicazioni che lavorano con contenuti multimediali lunghi.
