Продукти на Huawei и Honor с надути резултати в бенчмарк приложения

През годините неведнъж е ставало дума за случаи, в които производителите на смартфони добавят в продуктите си код, който повишава производителността при работата на определени приложения - например тези за провеждане на сравнителни тестове. По този начин телефоните могат да отчетат по-висок резултат, който обаче не отразява реалната им производителност, защото тя е налична само в определени приложения и то за сметка на засилена консумация на енергия и прегряване. Преди време в подобни нарушения бяха хващани и други компании, включително Samsung, но този път става дума за Huawei.

По-рано тази седмица от сайта AnandTech публикуваха анализ на технологията GPU Turbo, която се ползва за подобряване на графичната производителност в определени игри и вече е налична за няколко модели на Huawei и Honor. По време на тестовете са забелязани някои отклонения в производителността, а след внимателен анализ е установено, че те се дължат на специални оптимизации, които са добавени за подобряване на работата в популярни тестове като 3DMark. В резултат на това компанията зад приложението UL обяви, че е провела свои независими тестове, които са потвърдили откритото, и ще свали от базата данни Huawei P20 /P20 Pro, Huawei Nova 3 и Honor Play, защото такова поведение нарушава правилата й.

Както се вижда на графиката, разликата в резултатите е драстична - в единия случай е ползвано наличното в Play Store приложение 3DMark, а в другия негова версия, която е с различно име и не може да бъде идентифицирана от софтуера на телефона. Тестовете в двете версии са напълно идентични, но при публичното приложение се отчитат 47% по-високи резултати, което показва, че при него се активира специален режим за максимална производителност. От UL са се свързали с Huawei и компанията е обещала да осигури по-прозрачен подход с бъдещ ъпдейт, като даде на потребителите достъп до въпросния режим за максимална производителност, за да го използват при нужда.

В изявление за Android Authority Huawei посочва, че се фокусира върху потребителското преживяване, а не върху резултатите от тестовете. Компанията твърди, че използва интелигентни алгоритми за оптимизиране на производителността според конкретната задача. При ползване на бенчмарк приложения се разпознава името на софтуера и се активира въпросният режим на висока производителност, който компанията ще позволи и на потребителите да използват. В същото време алгоритмите очевидно не отчитат високото натоварване от модифицираната версия на 3DMark, за да повишат производителността на системата.

По време на изложението IFA от AnandTech са повдигнали въпроса пред Уанг Ченглу, който отговаря за софтуера в потребителското подразделение на Huawei. Той смята, че тези приложения не са най-добрият начин за тестване на смартфоните, защото се отдалечават от реалната употреба и не отразяват пълното преживяване. Според Уанг Ченглу тази практика е честа в екосистемата на Android, а като най-големия нарушител посочва името на популярна китайска компания, благодарение на която това е станало честа практика в страната. В крайна сметка Huawei също залага на подобни методи, за да се бори с конкуренцията в родината си, което не е лесно, щом другите публикуват нереалистични резултати.

В интервюто е обсъдено намаляващото доверие в посочваните от Huawei цифри по време на официалните презентации. AnandTech заявяват, че вече не вярват на всичко изнесено, защото не знаят дали данните не са получени именно в такъв режим на висока производителност. За щастие реакцията на Huawei е била позитивна и компанията обещава всички бъдещи тестови резултати в презентациите да бъдат независимо проверени от трети страни. Разбира се, най-доброто, което компанията може да направи, е не да следва масовата практика в Китай, а да й се противопостави, като изобличи нарушителите. Huawei е права, че подобни тестове не отразяват цялостното преживяване от работата с телефона, но очевидно производителите все още разчитат на резултатите от тях в маркетинга на продуктите си.

Източник: AnandTech, Android Authority, UL

Ново

Huawei разпространи ново изявление по казуса. Прилагаме го в оригинал и в превод.

Huawei and UL (creators of 3DMark) have held comprehensive discussions on benchmarking practices this week, and have reached a positive agreement on the next steps in working together.

In the discussion, Huawei explained that its smartphones use an artificial intelligent resource scheduling mechanism. Because different scenarios have different resource needs, the latest Huawei handsets leverage innovative technologies such as artificial intelligence to optimize resource allocation in a way so that the hardware can demonstrate its capabilities to the fullest extent, while fulfilling user demands across all scenarios.

UL understands the intent of Huawei’s approach, but is opposed to forcing the use of a “Performance Mode” by default when a benchmarking application is detected by the device. UL rules require a device to run the benchmark as if it were any other application.

Huawei respects consumers’ right to choose what to do with their devices. Therefore, Huawei will provide users with open access to “Performance Mode” in EMUI 9.0, so that the user can choose when to use the maximum power of their device.

Huawei and UL have also discussed current common benchmark testing methodologies in general. UL and Huawei would like to participate in an industry movement to develop benchmarking standards that best serve the needs of manufacturers, press, and consumers.

To prevent confusion around current benchmarking results, after discussion, UL and Huawei have temporarily delisted the benchmark scores of a range of Huawei devices, and will reinstate them after Huawei grants all users of Huawei handsets access to the Performance Mode.

Тази седмица Huawei и UL (създателите на 3DMark) проведоха подробни дискусии около бенчмарк практиките и постигнаха съгласие за следващите стъпки около съвместната си работа.

В дискусията Huawei обясни, че нейните смартфони използват механизъм за разпределяне на ресурсите с изкуствен интелект. Тъй като различните сценарии имат различни нужди за ресурси, най-новите телефони на Huawei разчитат на иновативни технологии като изкуствен интелект за оптимизиране на разпределянето на ресурси по начин, който позволява на хардуера да покаже най-добре възможностите си и в същото време да отговори на всички потребителски нужди във всички ситуации.

UL разбира намеренията зад подхода на Huawei, но е срещу използването по подразбиране на Performance Mode, когато устройството установи приложение за тестове. Правилата на UL изискват устройството да работи с приложението за тестове като с всяко друго приложение.

Huawei уважава правото на потребителите да избират какво да правят със своите устройства. В EMUI 9.0 компанията ще осигури на клиентите си отворен достъп до Performance Mode, така че те могат да изберат кога да използват максималната производителност на техните устройства.

Huawei и UL обсъдиха актуалните методологии за провеждане на сравнителни тестове. Компаниите искат да участват в всяка инициатива за разработване на стандарти за сравнителни тестове, които най-добре отговарят на нуждите на производители, преса и потребители.

За да се избегне всяко объркване около актуалните резултати от тестове UL и Huawei решиха временно да свалят резултатите от тестовете на определен брой устройства на Huawei и ще ги върнат след като всички потребители на телефони на компанията получат достъп до Performance Mode.