Intel Lab показала нейросеть, которая сделала графику в GTA V фотореалистичной
Выглядит впечатляюще.
На онлайн-конференции Eurographics 2021 подразделение Intel, занимающееся исследованием в сфере различных компьютерных наук, представило нейросеть. Она помогает получить фотореалистичное изображение. Работу нейросети продемонстрировали на примере GTA V:
Нейросеть училась на двух базах данных. Это Cityscapes и Mapillary Vistas, где содержатся видеозаписи уличных сцен из различных городов по всему миру. Однако просто «скормить» эти данные недостаточно. Такой способ привёл бы к появлению артефактов вроде деревьев в небе или других «галлюцинаций», которые обычно возникают при работе аналогичных нейросетей.
Ниже будут примеры: сначала исходное изображение, а затем — обработанное. Заметьте, что нейросеть добавила блики на стекле и кузове автомобиля:
В этом случае используются данные Cityscapes, из-за специфики базы которой картинка приобретает зеленоватый оттенок:
Также обратите внимание на сухую траву, которая становится зелёной, и неестественно «чистую» и ровную дорогу (наверное, стоит загрузить в Cityscapes записи из провинциальных городов России):
Лучше себя показали данные из Mapillary Vistas. На основе этих массивов удаётся удалить дымку из изображения, а также сделать более естественными траву и дорогу:
Согласитесь, выглядит лучше:
Ещё парочка примеров. Здесь хорошо удалось размытие дальнего плана:
Всё это во многих случаях делает картинку действительно фотореалистичной. Но иногда нейросеть что-то делает, но никакого эффекта реалистичности не возникает:
Наверное, логичным шагом стало бы объединение двух массивов данных под крылом одной нейросети. Первая нейросеть действительно хорошо справляется с отражениями и бликами, а вторая — с размытием заднего плана и обработкой асфальта.