Google начал развертывание новых функций для Gemini Live, основанных на Project Astra, которые позволяют анализировать экран и камеру в реальном времени. Это позволяет Gemini Live просматривать экран вашего телефона и предоставлять мгновенные ответы на основе контента. Пользователь обнаружил кнопку "Поделиться экраном в реальном времени" в оверлее Gemini на устройстве Xiaomi. Эта функция также предоставляет доступ к возможностям камеры в реальном времени, позволяя Gemini анализировать прямую трансляцию и предоставлять контекстные ответы.
Эти функции являются частью плана Google One AI Premium для подписчиков Gemini Advanced на Android, причем пользователи Pixel и Galaxy S25 одними из первых смогут их испытать.
Project Astra, возглавляемый Демисом Хассабисом из Google Deepmind, направлен на создание мультимодального ИИ-помощника, способного обрабатывать аудио, видео, изображения и текст в реальном времени.