Intel Lab показала нейросеть, которая сделала графику в GTA V фотореалистичной — Wylsacom

Intel Lab показала нейросеть, которая сделала графику в GTA V фотореалистичной

Выглядит впечатляюще.

На онлайн-конференции Eurographics 2021 подразделение Intel, занимающееся исследованием в сфере различных компьютерных наук, представило нейросеть. Она помогает получить фотореалистичное изображение. Работу нейросети продемонстрировали на примере GTA V:

Нейросеть училась на двух базах данных. Это Cityscapes и Mapillary Vistas, где содержатся видеозаписи уличных сцен из различных городов по всему миру. Однако просто «скормить» эти данные недостаточно. Такой способ привёл бы к появлению артефактов вроде деревьев в небе или других «галлюцинаций», которые обычно возникают при работе аналогичных нейросетей.

Ниже будут примеры: сначала исходное изображение, а затем — обработанное. Заметьте, что нейросеть добавила блики на стекле и кузове автомобиля:

В этом случае используются данные Cityscapes, из-за специфики базы которой картинка приобретает зеленоватый оттенок:

Также обратите внимание на сухую траву, которая становится зелёной, и неестественно «чистую» и ровную дорогу (наверное, стоит загрузить в Cityscapes записи из провинциальных городов России):

Лучше себя показали данные из Mapillary Vistas. На основе этих массивов удаётся удалить дымку из изображения, а также сделать более естественными траву и дорогу:

Согласитесь, выглядит лучше:

Ещё парочка примеров. Здесь хорошо удалось размытие дальнего плана:

Всё это во многих случаях делает картинку действительно фотореалистичной. Но иногда нейросеть что-то делает, но никакого эффекта реалистичности не возникает:

Наверное, логичным шагом стало бы объединение двух массивов данных под крылом одной нейросети. Первая нейросеть действительно хорошо справляется с отражениями и бликами, а вторая — с размытием заднего плана и обработкой асфальта.

  • Аноним

    если это не работает в реальном времени, как фильтр, то зачем оно нужно? для создания кинематографичных трейлор игр? спасибо, не надо

  • Аноним

    Невероятно!!

  • http://twitter.com/DanZWhite21 Dan [LIFETIME.UZ]

    Очуметь

  • Аноним

    Зеленоватый оттенок похожий на то как в матрице.

  • Аноним

    ЗБС, просто невероятно( нет ).
    Сейчас ,видимо, любой светофильтр можно впиздячить и начать орать про передовые технологии. Подзаебали уже со своими нейросетями

  • Аноним

    оно может работать в реальном времени, погугли. в теории — фотореалистичный графон в играх.

Комментарии для сайта Cackle