Google DeepMind представила модель мира Genie 4 со звуком в реальном времени
В Google заявили, что Genie 4 позволяет управлять симулируемыми мирами с помощью естественного языка, а доступ сначала получит ограниченная группа доверенных тестировщиков.
Иллюстрация, созданная ИИGoogle DeepMind 27 октября объявила об исследовании Genie 4 — модели мира для интерактивного моделирования в реальном времени. В компании заявили, что модель обеспечивает уровень реализма, который они назвали беспрецедентным, и генерирует собственный звук.
По словам Google, Genie 4 опирается на возможности семейства моделей Gemini и расширяет их. Gemini Omni связывает симуляции с тем, как вещи выглядят и ведут себя в реальном мире, а другие модели Gemini обеспечивают рассуждения, которые помогают сохранять связность и непрерывность симуляции.
По словам компании, пользователи могут запустить событие и управлять сценой по ходу её работы, давая инструкции на естественном языке, например переместить камеру, изменить погоду или добавить новых персонажей. Каждый мир также создаёт звук во время работы, включая фоновые шумы, музыку и интерактивные диалоги.
В Google назвали симуляцию мира важнейшим шагом к AGI. Там заявили, что такая симуляция может предоставить безопасные среды обучения для роботов и агентов и усилить творческие инструменты в таких отраслях, как кино, журналистика, игры и производство.
По данным компании, Genie 4 начала поэтапно становиться доступной ограниченной группе доверенных тестировщиков. В Google заявили, что модель скоро появится у подписчиков Google AI Ultra в Project Genie, а также у партнёров раннего доступа в Gemini API и AI Studio.