El 1 de septiembre de 2026, Google DeepMind presentó la comprensión de video agéntica en los modelos Gemini 3.7 Flash, 3.6 Flash y 3.5 Flash-Lite. En lugar de un muestreo fijo de fotogramas a una frecuencia de uno por segundo, el modelo ahora decide por sí mismo qué fragmentos de video, audio o transcripción cargar y en qué resolución. El blog oficial de la compañía informa una reducción en el consumo de tokens de hasta el 88 %, una disminución del costo de hasta el 66 % y un aumento en la precisión de hasta el 7 % en videos largos.
El mecanismo funciona de la siguiente manera: el modelo recibe un enlace al video y la consulta del usuario, y luego planifica una secuencia de acciones: extraer la transcripción, aumentar la frecuencia de fotogramas en un intervalo sospechoso o cambiar al audio. Cada paso va acompañado de un razonamiento interno, y el contexto final se forma solo a partir de fragmentos relevantes. Como resultado, una conferencia de una hora que en modo estático requería más de un millón de tokens ahora se procesa con aproximadamente 100 mil.
La evaluación se realizó en los puntos de referencia 1H-VideoQA y LVBench. En modo agéntico, se usaron 88 % menos tokens y la precisión de las respuestas aumentó varios puntos porcentuales. Sin embargo, Google no publica estudios de ablación detallados que muestren qué componente específico (selección de modalidad, frecuencia de fotogramas adaptativa o planificación interna) contribuye principalmente a la mejora de la calidad.
Anteriormente, la mayoría de los modelos multimodales, incluidas las versiones anteriores de Gemini y las soluciones de otros laboratorios, dependían del procesamiento estático: frecuencia de fotogramas fija y carga completa del contexto. Este enfoque garantizaba reproducibilidad, pero rápidamente se volvía ineficiente en videos largos. El método agéntico de Google se asemeja a los enfoques ya utilizados en agentes de texto con herramientas, pero los traslada al video manteniendo la multimodalidad.
La comparación con trabajos paralelos muestra que Google apuesta por la eficiencia precisamente para contenido largo, mientras que algunos otros laboratorios continúan perfeccionando métodos estáticos con mayor resolución de fotogramas. La diferencia de filosofía es evidente: un lado minimiza el volumen de contexto, el otro maximiza su densidad.
Para los desarrolladores, esto significa la posibilidad de construir agentes de video que analicen grabaciones de varias horas sin costos prohibitivos. Surgen nuevos escenarios: búsqueda automática de momentos clave en conferencias, edición precisa de video según descripciones, monitoreo de anomalías en grabaciones industriales. Sin embargo, sigue sin estar claro cuán establemente maneja el modelo consultas ambiguas cuando los fragmentos relevantes están distribuidos a lo largo de todo el video.
La verificación independiente hasta ahora se limita a los primeros informes de desarrolladores. Es probable que la comunidad pruebe el comportamiento en casos límite: videos con cambios rápidos de escena, audio de baja calidad o transcripciones contradictorias. Los próximos trabajos interesantes se centrarán precisamente en la tolerancia a fallos de la planificación agéntica y su impacto en la generalización.
El principal resultado del desarrollo es que el análisis de video se vuelve no exhaustivo sino dirigido, y esto cambia la economía de las aplicaciones que trabajan con contenido multimedia largo.
