NVIDIA научила нейросеть замедлять видео

Исследователи из NVIDIA совместно с массачусетским и калифорнийским университетами разработала искусственный интеллект, способный замедлить любое видео. Работает это с любым видео — программа увеличивает количество кадров в 15 раз, поэтому разрывов, как при обычном замедлении, не происходит.

Плавность достигается за счет новых промежуточных кадров — нейросеть сама рассчитывает перемещение объекта от одного кадра к другому и достраивает так, чтобы ничего не смазывалось. NVIDIA записала видеосравнение — работает это очень круто.

Чтобы добиться такого результата, исследователи использовали Nvidia Tesla V100 и библиотеку глубокого обучения PyTorch, которую развивает Facebook. Кроме этого, разработчики анализировали канал Slow Mo Guys, специализирующийся на замедленных видео.

По словам Яна Каутза, директора по визуальным вычислениям и машинному обучению в NVIDIA, система будет распространяться на коммерческой основе, но это произойдет нескоро. Он говорит, что бо́льшая часть обработки должна выполняться в облаке, так как компьютеры обычных пользователей с этим не справятся.

К сожалению, не обошлось и без слабостей. Если объекты передвигаются  очень быстро, то у кадров появляются зубчатые края. Впрочем, до релиза это должны поправить.

Если вы не поняли, это работает с любым видео — даже снятым на смартфон. Понятно, что до массового использования ещё далеко, но люди на этом сэкономят кучу денег. Профессиональные камеры для замедленной съемки стоят дорого, а здесь, за определенную плату, можно сделать все с более бюджетной.

Если вы хотите разобраться с тем, как это работает, то в библиотеке Корнельского университета опубликован подробный отчет.