Smartphone: benchmark truccati ci risiamo!

Franco Baiocchi 16 Aprile 2020, alle 10:54 Mobile

Ancora una volta si scoprono alterazioni dei risultati dei benchmark per i dispositivi mobile con l'attivazione di una modalità sport in caso di esecuzione di app dedicate ai test delle performance


- click per ingrandire -

Dopo la scoperta dei benchmarch truccati di cui abbiamo parlato in questa news, il potenziamento del benchmark ritorna ad essere un problema nel settore degli smartphone. UL benchmarks, uno dei più importanti produttori di software per il test dei dispositivi,  ha regole per i produttori che definiscono il modo in cui una piattaforma può interagire con il suo software di benchmarking. Sfortunatamente, nonostante gli scandali passati quando i produttori sono stati colti in fragrante, la settimana scorsa, AnandTech ha riferito che diversi modelli di smartphone alimentati dai processori MediaTek stavano producendo punteggi di riferimento artificialmente elevati e fuorvianti. MediaTek è una delle più grandi società di semiconduttori fabless al mondo.

Sulla base dei dati di Anandtech, UL ha cancellato i punteggi PCMark per Android per tutti i dispositivi che utilizzano i seguenti chipset MediaTek:

  • MediaTek Helio G90
  • MediaTek Helio G70
  • MediaTek Helio P95
  • MediaTek Helio P90
  • MediaTek Helio P65
  • MediaTek Helio P60
  • MediaTek Helio P20
  • MediaTek Helio A22

In totale, sono stati eliminati oltre 50 dispositivi di oltre 25 diversi fornitori tra cui diversi modelli recenti e ad alte prestazioni come Xiaomi Redmi Note 8 Pro, Oppo Reno3 Pro, Vivo Y19 e Realme 6. Anandtech ha testato Oppo Reno3 Pro con chipset MediaTek Helio P95 con la versione pubblica di PCMark per Android, disponibile su Google Play, e con una versione privata dell'app non disponibile al pubblico o ai produttori, trovando una grande differenza nei punteggi delle app pubbliche e private, anche se i test sono identici. Riconoscendo il software in esecuzione, veniva infatti attivata una modalità speciale chiamata Modalità Sport, che permetteva di migliorare artificialmente le prestazioni durante l'esecuzione dell'app pubblica PCMark per Android. Con l'app privata, il telefono funzionava come previsto per il normale uso quotidiano.

MediaTek, da quanto riferitoci dalla stessa UL, è stat contattata per eventuali spiegazioni, senza perà aver fornito risposta. Poco dopo che Anandtech ha pubblicato il suo articolo, MediaTek ha risposto con un post sul suo sito web: "MediaTek segue gli standard del settore accettati ed è fiducioso che i test di benchmarking rappresentino accuratamente le capacità dei nostri chipset." UL ha rilanciato che l'uso di meccanismi nascosti per rilevare le app di benchmarking in base al nome e apportare ottimizzazioni delle prestazioni specifiche dell'app non è uno "standard del settore accettato. In realtà, è esattamente l'opposto dello standard accettato."

fonte: UL Benchmarks - Anandtech 

Commenti

Focus

News