Хватит ссылаться на мобильные рейтинги DxO. Это бесполезная фигня

Рассказываем, что с ними не так.

Давайте так. За всё, что касается фотокамер и объективов, я признателен ресурсу DxO. Сослаться в любом споре на их базу данных по фотоаппаратам и объективам — хороший тон. Но во всём, что касается мобильной фотографии, оценки DxO ничуть не авторитетнее любых других в интернете. Медиа зря делают из каждого их теста инфоповод.

Взрослые очень любят цифры. Когда рассказываешь им, что у тебя появился новый друг, они никогда не спросят о самом главном. Никогда они не скажут: «А какой у него голос? В какие игры он любит играть? Ловит ли он бабочек?» Они спрашивают: «Сколько ему лет? Сколько у него братьев? Сколько он весит? Сколько зарабатывает его отец?» И после этого воображают, что узнали человека.

Когда говоришь взрослым: «Я видел красивый дом из розового кирпича, в окнах у него герань, а на крыше голуби», — они никак не могут представить себе этот дом. Им надо сказать: «Я видел дом за сто тысяч франков», — и тогда они восклицают: «Какая красота!»

Антуан де Сент-Экзюпери, «Маленький принц»

В начале февраля 2019-го на первом месте рейтинга DxO — Huawei Mate 20 Pro. До него лучшим чуть ли не год был другой Huawei — P20 Pro.

Поскольку тема фотокамер в смартфонах перехайплена в принципе, я долго не обращал на этот рейтинг внимания. Но когда на него стали ссылаться в каждой второй новости и даже в презентациях новых смартфонов — полез изучать. Хуавей, серьёзно?

Оказалось, что и Маркус Браунли, и Влад Савов, и DPReview обошлись без восхищённых эпитетов в адрес Huawei Mate 20 Pro, а семплы совсем не поражали воображение.

Обзор DxO вышел позже остальных. На паре ресурсов даже вышли новости, что Huawei просила не публиковать результаты тестирования. Якобы китайцы не хотели шокировать рынок тем, насколько хорошая камера у них получилась.

Баллов у Mate 20 Pro оказалось в итоге столько же, сколько и у P20 Pro. А после того, как я прочитал собственно сам обзор, у меня сложилось впечатление, что никто из тех, кто использует эти рейтинги, сами обзоры не открывают.

Даже простого скролла достаточно, чтобы понять уровень аналитики в статье. Вот как выглядит обзор профессионального смартфона с золотой медалью на груди, и вот так профессионального объектива на одном и том же сайте. Первый обзор красивый, второй — умный:

Снимок
Снимок2

В одном случае предлагают сравнивать кропы с трёх рандомных смартфонов без указания параметров съёмки. Во втором нет ни одной фотографии вообще: только метрики, графики и цифры. Их же для того и придумали, чтобы сравнивать разные величины точно.

Для смартфонов у DxO нормальной методологии нет, поэтому их рейтинги такие же субъективные, как и все остальные. Если надеть резиновые перчатки и всё же углубиться в их аналитику, сразу всплывут косяки. Так, по этой фотографии DxO предлагает оценивать динамический диапазон:

Тут только два варианта: либо тестирование и обзоры пишут разные люди, либо в DxO к мобильной фотографии относятся примерно так же, как к фильмам Marvel на Каннском кинофестивале.

Сравнивать динамический диапазон на двух по-разному экспонированных фотографиях, да ещё и не указывая при этом, включён ли Smart HDR на iPhone — крайне странное решение.

Снимок на Хуавей в принципе темнее, неудивительно, что небо на Айфоне пересвечено

Те же DPReview для оценки динамического диапазона используют вполне конкретные метрики, чётко описывая их, а не тупо сравнивают две фотки без экзифов. Более того, в той же статье на этапе сравнения детализации и микроконтраста вдруг выясняется, что iPhone вполне умеет в HDR и уделывает как P20 Pro, так и Mate 20 Pro:

Но по этой фотографии оценивается резкость. Не берусь судить, насколько вообще суразно смотреть 100 % кропы на фотках с мобилок, но, справедливости ради, у Huawei Mate 20 Pro с ней действительно чуть-чуть получше, чем у iPhone. Здесь бросим якорь: к резкости мы ещё вернёмся.

Не знаю, заносили ли китайцы денег французам, но по меньшей мере странным выглядит та избирательность, по которой оценивают Huawei. Пример с динамическим диапазоном не единственный.

Одна из самых переоценённых, но в то же время востребованных функций на смартфоне — программируемое размытие заднего фона. Чтобы оценить этот скилл на Huawei Mate 20 Pro, надо его сравнить либо с эталоном, либо, если эталон — Huawei, с конкурентами. DxO этого не делает.

В паре с Mate 20 Pro не демонстрируются возможности ни iPhone XS, ни Google Pixel 3, ни даже предыдущего лидера рейтинга P20 Pro. Он молча получил за эффект боке 60 баллов. Столько же баллов у iPhone XS Max, а у Google Pixel 3 их всего 50, в то время у Huawei P20 Pro и вовсе все 70. Полез смотреть, за что же их дали.

В обзорах iPhone XS или Pixel 3 сравнений портретных режимов c лидирующим по этому показателю Huawei P20 Pro нет, при том что они вышли позже. В обзоре самого Huawei P20 Pro сравнения есть только с iPhone X и Pixel 2, что в целом логично. Нелогичен только результат этих сравнений.

По iPhone вопросов нет: в «десятке» камера посредственная. Но, думаю, даже в самом DxO не смогли бы внятно объяснить, стоит ли сравнивать портретный режим по тем параметрам, по которым Pixel сливает. Просто взгляните на правую фотографию. Она же лучше во всём, абсолютно:

Обратите внимание на скинтон, цвет шарфа и волос, детализацию. Листая этот снимок в Инстаграме, я бы и не понял с ходу, что это снято на смартфон. Подтянем корабль с размышлениями ближе к якорю и вспомним, что DxO нам говорил про резкость.

Сравнивая кропы, мы увидим у Хуавея более чёткую травку, и это хорошо. А на Пикселе детализация как на полноценной камере, поэтому ему мы скинем баллы за перешарп. Логика из чугуна.

Вот так выглядит блюр на 70 баллов по версии DxO:

Я допускаю, что Huawei P20 Pro — замечательный смартфон, а Mate 20 Pro ещё лучше. Но их место в топе на основе тех методик и тестов, которые проводит DxO Mobile, выглядит предвзятым и сомнительным.

Сам DxO утверждает, что денег за тесты не берёт вообще, а вот у вышеупомянутого Маркуса Браунли другая инфа. В своём видео, посвящённом DxO, он говорит, что производители платят деньги за то, чтобы их продукт протестировали.

Для протокола: в слепом тестировании камер смартфонов у Маркуса победил тот самый Хуавей. Подразумевает ли слепое тестирование слепых тестируемых, не уточнялось. И в тот же протокол: другое видео Макруса не попало в список «советуемых обзоров» под статьёй DxO, где он ставит этот смартфон ниже Пикселя и Айфона. Попало только то, в котором Huawei предстаёт в лучшем свете:

Скриншот с сайта. В «In the Press» был и другой обзор Маркуса. DxO, почему вы выбрали именно этот?

Нельзя сказать, что рейтинги DxO абсолютно бесполезны. Как минимум, по ним хотя бы понятно, какие телефоны сейчас в топе по фото и видео. Причём неважно, в каком порядке: разница между ними несущественная. Но сами рейтинги DxO как инструмент сравнения мобильных камер, мягко говоря, несовершенен.

Та же система приоритетов одних функций над другими вызывает вопросы, не говоря уж о качестве тестирования. По мнению DxO, важнее всего то, как смартфон снимает в портретном режиме и какой у него диапазон фокусных расстояний. При этом уровень вычислительной фотографии и её возможностей, по-видимому, никак не учитывается.

А вообще самый простой алгоритм выбора лучшего смартфона написал один владелец Huawei Mate 20 Pro, который прежде снимал на Pixel 2, а до того — на iPhone:

Подписывайтесь на телеграм-канал автора «Пока завод не починили». Заметки по обработке, мобильной фотографии и о том, как снимать лучше и проще.