Google DeepMind научила нейросеть создавать прототипы 3D-игр

Новой модели Genie 2 достаточно одного концепт-арта для генерации игрового мира. Нейросеть сама декодирует изображение на составляющие, анимирует персонажа и имитирует источники освещения.

Игровой «движок» работает на манер GameNGen: нейросеть не пишет код и не моделирует трёхмерное пространство, а лишь генерирует короткий видеоряд в реальном времени с учётом нажатий игрока на клавиатуру.

Google DeepMind тренировала «Джини 2» на реальных играх, включая No Man’s Sky, Valheim и Teardown, из-за чего алгоритмы генерации видео полностью повторяют артефакты освещения и проблемы отрисовки теней, характерные для игр прошлого поколения.

Нейросеть часто галлюцинирует на ходу: иногда стены дома превращаются в пещеру, а спускающийся с горы персонаж бросает сноуборд и начинает бежать по склону на своих двоих. В играх от первого лица, в статичных сценах, в кадре появляются призрачные силуэты на манер NPC из «Скайрима».

Google не уточняет разрешение и кадровую частоту рабочих прототипов, а максимальная продолжительность игрового демо не превышает 60 секунд.