Social Buttons AV Magazine su Facebook AV Magazine su Twitter AV Magazine RSS AV Magazine Newsletter

Smartphones: benchmark truccati?

di Franco Baiocchi, pubblicata il 06 Settembre 2018, alle 16:54 nel canale MOBILE

“Scoperta l'attivazione di una "Performance Mode" su alcuni modelli di smartphone che entra in esecuzione al riconoscimento del lancio di app di benchmarking per generare risultati piuttosto gonfiati”

Ho appena ricevuto un comunicato da parte di UL Benchmarks, ditta molto nota per la produzione di System e GPU benchmark, tra cui PC Mark, 3D Mark, su di un argomento che ci tocca molto da vicino: sembrerebbe infatti che diversi modelli di smartphone recenti di Huawei e il suo sottomarchio, Honor,  producano punteggi di riferimento artificialmente alti e fuorvianti, come riferito da AnandTech.

Negli ultimi cinque anni, più di alcuni produttori di smartphone sono stati colti sul fatto  per aver tentato di manipolare i punteggi dei benchmark. Ecco perché UL ha regole chiare per i produttori che regolano il modo in cui una piattaforma può interagire con il suo software di benchmarking.
 
UL Benchmark mi avverte che dopo aver testato i dispositivi nel loro laboratorio e aver confermato che violano le regole, hanno deciso di rimuovere i modelli interessati dalle classifiche delle prestazioni dei loro benchmark. In particolare i modelli incriminati sembrerebbero essere lo Huawei P20 Pro, lo Huawei Nova 3 e l'Honor Play e su indicazioni di AnandTech, anche lo Huawei P20

UL Benchmark ha  testato ciascun modello con la versione pubblica di 3DMark, disponibile su Google Play, e con una versione privata di 3DMark che non è disponibile al pubblico o ai produttori ed è stato riscontrato che i punteggi dell'app 3DMark pubblica erano superiori del 47% rispetto ai punteggi dell'app privata, anche se i test erano praticamente identici. Con l'app pubblica 3DMark, questi dispositivi sembravano utilizzare una "Performance Mode" nascosta che sovrascrive il normale profilo di alimentazione dei dispositivi, ovvero i telefoni, riconoscendo l'app 3DMark attivavano la modalità "Boost". In realtà un dispositivo deve eseguire il benchmark come se fosse una qualsiasi altra applicazione, senza che le venga dedicato il massimo delle potenzialità hardware.

Lo staff Huawei è stato contattato in seguito al test reale delle performance e si è impegnato a implementare un approccio più trasparente in un aggiornamento futuro:

"Huawei dà sempre la priorità all'esperienza utente piuttosto che perseguire punteggi di riferimento elevati, soprattutto perché non esiste una connessione diretta tra i benchmark degli smartphone e le esperienze degli utenti. Gli smartphone Huawei utilizzano tecnologie avanzate come l'intelligenza artificiale per ottimizzare le prestazioni dell'hardware, tra cui CPU, GPU e NPU.

Quando qualcuno lancia un'applicazione per la fotografia o gioca un gioco ad alta intensità grafica, il software intelligente di Huawei crea un'esperienza utente stabile e stabile applicando tutte le funzionalità dell'hardware, gestendo contemporaneamente la temperatura e l'efficienza energetica del dispositivo. Per le applicazioni che non sono così intense come la navigazione sul Web, verranno allocate solo le risorse necessarie per fornire le prestazioni necessarie.

In normali scenari di benchmarking, una volta che il software Huawei riconosce un'applicazione di benchmarking, si adatta in modo intelligente a" Performance Mode "e offre prestazioni ottimali. Huawei ha in programma di fornire agli utenti l'accesso alla "Modalità Performance" in modo che possano utilizzare la potenza massima del proprio dispositivo quando necessario. Huawei - in qualità di leader del settore - è disposta a collaborare con i partner per trovare i migliori standard di benchmarking in grado di valutare con precisione l'esperienza dell'utente."

fonte: UL Benchmarks - Anandtech - Huawei

 



Commenti (1)

Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - Info
Commento # 1 di: stazzatleta pubblicato il 06 Settembre 2018, 17:17
eh, abbiamo anche lo smartphone gate...ci mancava