Apple научит iPhone снимать сверхчёткие фотки при помощи Deep Fusion

Технология нейрообработки изображений на iPhone 11 / 11 Pro будет включена в следующей бете для разработчиков. Об этом стало известно от журналистов The Verge.

Что это такое?

Deep Fusion должна стать одной из главных софтовых новшеств одиннадцатых айфонов. Старший вице-президент Apple Фил Шиллер назвал эту технологию «безумной наукой вычислительной фотографии».

При помощи Deep Fusion снимки должны получаться более чёткими и лучшего качества. Сам процесс фотографирования будет выглядеть вот так:

1. К моменту, когда вы нажимаете на кнопку затвора, ваш айфон сделает уже четыре снимка на очень короткой выдержке в фоновом режиме серийной съёмки;
2. Помимо этого, смартфон успевает сделать четыре обычных фотографии;
3. В момент нажатия на кнопку затвора делается снимок на длинной выдержке;
4. Обычные снимки из пункта 2 объединяются со снимком, сделанным на длинной выдержке, в один «синтетически длинный»;
5. Параллельно с этим айфон выбирает из первых трёх снимков один с лучшей детализацией и объединяет его с «синтетически длинным»;
6. Выбранные снимки обрабатываются, а шум на них подавляется. Это помогает увеличить количество деталей. С одного изображения сопроцессор Neural Engine выбирает детали, с другого — информацию о свете и цвете;
7. На этом этапе все отобранные снимки объединяются в один. Причём система сама решает, в каком порядке это делать.

Чем Deep Fusion отличается от Smart HDR?

Действительно, можно подумать, что Deep Fusion работает по схожему со Smart HDR алгоритму, ведь в обоих случаях идёт объединение сразу нескольких снимков. Однако отличия есть.

В случае со Smart HDR берётся сразу несколько изображений, которые объединяются в один. Эти несколько снимков представляют собой пере- и недоэкспонированные фотографии. Таким образом Apple добилась детализации в мобильной фотографии при контровом свете.

Deep Fusion же применяется в другом случае. Тут главное не детализация в тени, а детализация вообще. И сама фотография состоит не из девяти снимков, как в случае со Smart HDR, а из меньшего количества.

Технология Deep Fusion будет применяться в условиях низкой и средней освещённости. Smart HDR же будет брать в свои руки бразды правления в условиях излишне яркого света.

При этом Deep Fusion будет работать только на широкоугольном и телефотообъективе. Ультраширик, как в случае с ночным режимом, в пролёте. Так что если вы, как и мы, ожидали улучшения качества фотографий, сделанных на него, то это случится только в 2020 году, когда Apple выпустит новые айфоны.

Как активировать Deep Fusion?

Никак. Айфон сам решит сделать это за вас. Никаких кнопок не будет. Вы даже не увидите информацию о Deep Fusion в EXIF’е фотографии. Сторонники теории заговора могут подумать, что и нет никакой технологии.

Когда технология будет доступна?

По данным The Verge, в следующей бете для разработчиков. Порядковый номер её не называется, но некоторые источники утверждают, что это iOS 13.2 Developer Beta 1. То есть официальный релиз состоится, когда Apple выпустит именно iOS 13.2.

Бета для разработчиков должна была выйти 1 октября, но без объяснения причин её перенесли не неопределённый срок.

На каких устройствах?

Как и с ночным режимом, Deep Fusion будет доступна только на iPhone 11, 11 Pro и 11 Pro Max. Причина заключается в процессоре A13 Bionic и его сопроцессоре Neural Engine. Судя по всему, только он способен провести все необходимые вычисления за секунду.