1 septembre 2026, Google DeepMind a présenté la compréhension vidéo agentique dans les modèles Gemini 3.7 Flash, 3.6 Flash et 3.5 Flash-Lite. Au lieu d'un échantillonnage fixe d'images à raison d'une par seconde, le modèle décide désormais lui-même quels fragments de vidéo, d'audio ou de transcription charger et à quelle résolution. Le blog officiel de l'entreprise rapporte une réduction de la consommation de jetons jusqu'à 88 %, une diminution des coûts jusqu'à 66 % et une augmentation de la précision jusqu'à 7 % sur les vidéos longues.
Le mécanisme fonctionne comme suit : le modèle reçoit un lien vers la vidéo et la requête de l'utilisateur, puis planifie une séquence d'actions — extraire la transcription, augmenter la fréquence d'images dans un intervalle suspect ou passer à l'audio. Chaque étape est accompagnée d'un raisonnement interne, et le contexte final n'est formé qu'à partir des fragments pertinents. En conséquence, une conférence d'une heure qui, en mode statique, exigeait plus d'un million de jetons, est maintenant traitée avec environ 100 mille.
L'évaluation a été réalisée sur les benchmarks 1H-VideoQA et LVBench. En mode agentique, les jetons ont été réduits de 88 % et la précision des réponses a augmenté de plusieurs points. Cependant, Google ne publie pas d'études d'ablation détaillées montrant quel composant précis — le choix de la modalité, la fréquence d'images adaptative ou la planification interne — contribue principalement à l'amélioration de la qualité.
Auparavant, la plupart des modèles multimodaux, y compris les versions précédentes de Gemini et les solutions d'autres laboratoires, reposaient sur un traitement statique : fréquence d'images fixe et chargement complet du contexte. Cette approche garantissait la reproductibilité, mais devenait rapidement inefficace sur les vidéos longues. La méthode agentique de Google rappelle les approches déjà utilisées dans les agents textuels avec outils, mais les transpose à la vidéo tout en préservant la multimodalité.
La comparaison avec les travaux parallèles montre que Google mise sur l'efficacité pour le contenu long, tandis que certains autres laboratoires continuent de perfectionner les méthodes statiques avec une résolution d'images plus élevée. La différence de philosophie est évidente : un camp minimise le volume de contexte, l'autre maximise sa densité.
Pour les développeurs, cela signifie la possibilité de construire des agents vidéo qui analysent des enregistrements de plusieurs heures sans coûts prohibitifs. De nouveaux scénarios apparaissent — recherche automatique de moments clés dans des conférences, montage vidéo précis à partir d'une description, surveillance d'anomalies dans des enregistrements industriels. Cependant, il reste incertain dans quelle mesure le modèle gère de manière stable les requêtes ambiguës lorsque les fragments pertinents sont répartis sur toute la vidéo.
La vérification indépendante est pour l'instant limitée aux premiers rapports des développeurs. La communauté testera probablement le comportement sur des cas limites : vidéos avec changements de scène rapides, audio de mauvaise qualité ou transcriptions contradictoires. Les prochains travaux intéressants porteront précisément sur la robustesse de la planification agentique et son impact sur la généralisation.
Le principal résultat du développement est que l'analyse vidéo devient non plus exhaustive mais ciblée, et cela change l'économie des applications traitant de longs contenus multimédias.
