GPT-4 может играть в DOOM без дополнительного обучения
Правда, не очень результативно.
Сотрудник Microsoft и исследователь Йоркского университета Адриан де Винтер решил протестировать способности модели к прохождению компьютерных игр и заставил её проходить классический DOOM. Сражаться с демонами отправил GPT-4V, которая может распознавать изображения, и та показала немного пугающие результаты.
Как оказалось, натренировать модель на игру довольно просто, проблема только в том, что она способна на взаимодействие с окружением лишь в пределах своего поля зрения. Как только враг оказывается «за спиной» GPT-4, она тут же забывает про него и не реагирует на получаемый от него урон.
Больше всего в этой истории напрягает, насколько легко оказалось заставить GPT-4 без всяческих раздумий стрелять по распознаваемым целям. А что, если бы на вход подавались не кадры компьютерной игры, а изображение с камеры… Так что запомните на всякий случай: главное, выйти из поля зрения терминатора и нападать сзади. Ну а если заметили на киборге камеру 360, просто постарайтесь принять смешную позу.