Хватит ссылаться на мобильные рейтинги DxO. Это бесполезная фигня

Давайте так. За всё, что касается фотокамер и объективов, я признателен ресурсу DxO. Сослаться в любом споре на их базу данных по фотоаппаратам и объективам — хороший тон. Но во всём, что касается мобильной фотографии, оценки DxO ничуть не авторитетнее любых других в интернете. Медиа зря делают из каждого их теста инфоповод.

Обзор DxO вышел позже остальных. На паре ресурсов даже вышли новости, что Huawei просила не публиковать результаты тестирования. Якобы китайцы не хотели шокировать рынок тем, насколько хорошая камера у них получилась.

Баллов у Mate 20 Pro оказалось в итоге столько же, сколько и у P20 Pro. А после того, как я прочитал собственно сам обзор, у меня сложилось впечатление, что никто из тех, кто использует эти рейтинги, сами обзоры не открывают.

Даже простого скролла достаточно, чтобы понять уровень аналитики в статье. Вот как выглядит обзор профессионального смартфона с золотой медалью на груди, и вот так профессионального объектива на одном и том же сайте. Первый обзор красивый, второй — умный:

В одном случае предлагают сравнивать кропы с трёх рандомных смартфонов без указания параметров съёмки. Во втором нет ни одной фотографии вообще: только метрики, графики и цифры. Их же для того и придумали, чтобы сравнивать разные величины точно.

Для смартфонов у DxO нормальной методологии нет, поэтому их рейтинги такие же субъективные, как и все остальные. Если надеть резиновые перчатки и всё же углубиться в их аналитику, сразу всплывут косяки. Так, по этой фотографии DxO предлагает оценивать динамический диапазон:

Тут только два варианта: либо тестирование и обзоры пишут разные люди, либо в DxO к мобильной фотографии относятся примерно так же, как к фильмам Marvel на Каннском кинофестивале.

Сравнивать динамический диапазон на двух по-разному экспонированных фотографиях, да ещё и не указывая при этом, включён ли Smart HDR на iPhone — крайне странное решение.

Те же DPReview для оценки динамического диапазона используют вполне конкретные метрики, чётко описывая их, а не тупо сравнивают две фотки без экзифов. Более того, в той же статье на этапе сравнения детализации и микроконтраста вдруг выясняется, что iPhone вполне умеет в HDR и уделывает как P20 Pro, так и Mate 20 Pro:

Но по этой фотографии оценивается резкость. Не берусь судить, насколько вообще суразно смотреть 100 % кропы на фотках с мобилок, но, справедливости ради, у Huawei Mate 20 Pro с ней действительно чуть-чуть получше, чем у iPhone. Здесь бросим якорь: к резкости мы ещё вернёмся.

Не знаю, заносили ли китайцы денег французам, но по меньшей мере странным выглядит та избирательность, по которой оценивают Huawei. Пример с динамическим диапазоном не единственный.

Одна из самых переоценённых, но в то же время востребованных функций на смартфоне — программируемое размытие заднего фона. Чтобы оценить этот скилл на Huawei Mate 20 Pro, надо его сравнить либо с эталоном, либо, если эталон — Huawei, с конкурентами. DxO этого не делает.

В паре с Mate 20 Pro не демонстрируются возможности ни iPhone XS, ни Google Pixel 3, ни даже предыдущего лидера рейтинга P20 Pro. Он молча получил за эффект боке 60 баллов. Столько же баллов у iPhone XS Max, а у Google Pixel 3 их всего 50, в то время у Huawei P20 Pro и вовсе все 70. Полез смотреть, за что же их дали.

В обзорах iPhone XS или Pixel 3 сравнений портретных режимов c лидирующим по этому показателю Huawei P20 Pro нет, при том что они вышли позже. В обзоре самого Huawei P20 Pro сравнения есть только с iPhone X и Pixel 2, что в целом логично. Нелогичен только результат этих сравнений.

По iPhone вопросов нет: в «десятке» камера посредственная. Но, думаю, даже в самом DxO не смогли бы внятно объяснить, стоит ли сравнивать портретный режим по тем параметрам, по которым Pixel сливает. Просто взгляните на правую фотографию. Она же лучше во всём, абсолютно:

Вот так выглядит блюр на 70 баллов по версии DxO:

Я допускаю, что Huawei P20 Pro — замечательный смартфон, а Mate 20 Pro ещё лучше. Но их место в топе на основе тех методик и тестов, которые проводит DxO Mobile, выглядит предвзятым и сомнительным.

Сам DxO утверждает, что денег за тесты не берёт вообще, а вот у вышеупомянутого Маркуса Браунли другая инфа. В своём видео, посвящённом DxO, он говорит, что производители платят деньги за то, чтобы их продукт протестировали.

Для протокола: в слепом тестировании камер смартфонов у Маркуса победил тот самый Хуавей. Подразумевает ли слепое тестирование слепых тестируемых, не уточнялось. И в тот же протокол: другое видео Макруса не попало в список «советуемых обзоров» под статьёй DxO, где он ставит этот смартфон ниже Пикселя и Айфона. Попало только то, в котором Huawei предстаёт в лучшем свете:

Нельзя сказать, что рейтинги DxO абсолютно бесполезны. Как минимум, по ним хотя бы понятно, какие телефоны сейчас в топе по фото и видео. Причём неважно, в каком порядке: разница между ними несущественная. Но сами рейтинги DxO как инструмент сравнения мобильных камер, мягко говоря, несовершенен.

Та же система приоритетов одних функций над другими вызывает вопросы, не говоря уж о качестве тестирования. По мнению DxO, важнее всего то, как смартфон снимает в портретном режиме и какой у него диапазон фокусных расстояний. При этом уровень вычислительной фотографии и её возможностей, по-видимому, никак не учитывается.

А вообще самый простой алгоритм выбора лучшего смартфона написал один владелец Huawei Mate 20 Pro, который прежде снимал на Pixel 2, а до того — на iPhone:

1. Выкидываем из сравнения любые телефоны, лишенные OIS и ZSL HDR по профнепригодности по стандартам 2018 года
2. Оставшиеся два телефона сравниваем как угодно

— Замок Дрочил (@mortalezz) December 5, 2018

Подписывайтесь на телеграм-канал автора «Пока завод не починили». Заметки по обработке, мобильной фотографии и о том, как снимать лучше и проще.