Huawei «накручивает» цифры в бенчмарках
Стыдно!
Не так давно Huawei уже ловили за руку, когда компания пыталась обмануть покупателей, выдав фотки с зеркалки за фронтальную камеру Nova 3i. Видимо, эта история компанию ничему не научила.
Мастера из AnandTech выяснили, что в смартфонах Huawei и её суббренда Honor есть специальные программы, «разгоняющие» телефон в бенчмарках. Когда устройство видит, что запущена программа для тестирования железа, то ограничение с энергопотребления убирается, лишь бы набить побольше попугаев.
AnandTech провёл два теста со смартфоном Honor Play. Первый с активированной системой обнаружения тест-программ, а второй — без неё. Оказалось, что энергопотребление смартфона увеличивается в 2 раза вместе с производительностью.
Помимо этого, в тестах приняли участие Huawei P20 и P20 Pro. Результаты практически те же, что и у Honor Play.
Эти тесты прокомментировал Ван Чен Лу, президент программного обеспечения Huawei. Он сказал, что в Китае конкурировать без «накрутки» цифр в бенчмарках сложно, потому что все так делают. Кроме того, он не считает современные синтетические тесты объективными, так как они не показывают ничего, что может быть связано с пользовательским опытом.
По словам Ван Чен Лу, Huawei хочет договориться со всеми производителями смартфонов на Android из Китая и придумать другой тест, где будут учитываться не только железки, но и пользовательский опыт. Для того, чтобы не терять доверие клиентов, следующие смартфоны будут проверять независимые специалисты.
А как быть обычным пользователям? Понятно, что синтетические тесты многое не могут показать, но именно с помощью этих цифр можно оценить производительность смартфона. Если представитель Huawei говорит правду, то все производители смартфонов нас обманывают и верить тестам с бенчмарков нельзя.
Если исходить из личного опыта, то цифры в бенчмарках — штука весьма относительная. Взять тот же популярный среди гиков AnTuTu. С каждым годом приложение обновляется и выдаёт всё более «крутые» результаты, при этом не факт, что телефон не будет лагать и тормозить. Как понять, что значат эти десятки и сотни тысяч баллов? В 2012 году, например, топ-лист из двадцати устройств выглядел так:
Тогда даже 18 000 баллов были редкостью, например, топовый Samsung Galaxy Note II, один из флагманов того времени, не мог столько набрать. Шесть лет спустя, летом 2018 года, десятка самых мощных моделей на Android выглядит вот так. Самые мощные модели набирают под триста тысяч очков. ТРИСТА ТЫСЯЧ, ребята!
Но стало ли работать меню в телефоне в десять раз быстрее? Нет. Да, разработчики адаптируют тесты, и между современными бенчмарками и тестами шестилетней давности уже нет преемственности, некорректно эти цифры сравнить. То есть нужно брать старые телефоны и прогонять на них новые тесты, чтобы выяснить, насколько они хуже или лучше свежих смартфонов.
Но этим никто не занимается, потому что смысла в таких замерах нет. Бенчмарком не оценить, как быстро будет работать скроллинг в галерее, будет ли выгружать телефон из памяти запущенные приложения, будут ли приходить уведомления в фоне. Всё это понимаешь лишь по мере того, как пользуешься телефоном, а синтетические тесты в этом плане бесполезны.
Тогда зачем они нужны? Люди любят большие числа, видимо, когда больше нечем похвастаться и отличиться на фоне остальных, приходится использовать такие примитивные, но всё ещё рабочие приёмы.