Google представляет Genie 4 — интерактивные миры с ИИ и звуком в реальном времени [видео]

Google DeepMind представила Genie 4 — новую модель ИИ, которая создаёт интерактивные миры, где пользователи могут исследовать и менять обстановку на ходу. Обновление добавляет встроенные звук и диалоги, а также текстовые команды для изменения сцены в реальном времени.

Вместо создания готового видео модель реагирует на действия пользователя, который перемещается с помощью клавиатуры и камеры. Текстовый запрос позволяет изменить погоду, добавить человека или предмет либо настроить камеру; Gemini помогает органично вписать эти изменения в окружающую сцену.

Одновременно с изображением генерируется звук: от шума ветра и волн до музыки и разговоров. Персонажи могут реагировать на события и действия пользователя, пока симуляция продолжается. Google также заявляет об улучшенной физике и более естественных движениях людей.

В основе системы работает Gemini 3.8 Flash, выступающая в роли агента-наставника. Она анализирует поступающие кадры, разбивает цели на этапы и проверяет, выполнены ли они, прежде чем скорректировать план. Компания также экспериментирует с Gemini 4 Argon и своими исследованиями в области робототехники, чтобы моделировать задачи, состоящие из нескольких последовательных этапов.

Первые тестировщики изучают возможности технологии за пределами развлечений. Кинематографисты могут заранее опробовать ракурсы камеры, освещение, диалоги и действие перед съёмкой сцены. Разработчики игр — проверить интерактивную концепцию до написания кода игрового движка, а исследователи — создавать сценарии для обучения роботов и ИИ-агентов.

Технология пока находится на экспериментальной стадии. При длительной работе или после сложных правок визуальные детали могут меняться, а объекты — терять согласованность по мере перемещения пользователя. Физика, точность звука, читаемость текста и пространственная точность также ещё требуют доработки. На сгенерированные видео и аудио будет наноситься водяной знак SynthID от Google, помогающий распознать контент, созданный ИИ.

Пока доступ открыт только проверенным тестировщикам. Более широкая предварительная версия появится для подписчиков Google AI Ultra в рамках Project Genie, а также для партнёров программы раннего доступа — через Gemini API и Google AI Studio. Google открыла список ожидания, но не объявила дату запуска.