Quando ci apprestiamo all'acquisto di un nuovo smartphone o di un nuovo tablet, ci concentriamo quasi esclusivamente sull'analisi delle prestazioni, spesso anche in relazione al prezzo, tralasciando purtroppo altri elementi essenziali, come il display, la fotocamera e la qualità di auricolari e uscita audio. In altre parole, siamo curiosi di sapere prima di tutto se il prodotto che acquisteremo sarà abbastanza “veloce” rispetto al prezzo d'acquisto o veloce in assoluto, magari anche solo un po' più veloce rispetto a quello che ha acquistato il nostro amico.

In questo senso, un sistema di misura delle prestazioni è utilissimo. Per misurare le prestazioni del nostro DUT (Device Under Test) vengono utilizzati una serie di programmi cosiddetti “software for benchmarking”. In realtà il “benchmark” (letteralmente: “punto di riferimento”) era in primis utilizzato in economia, e si trattava di una metodologia basata sul confronto sistematico che permetteva alle aziende di compararsi con le migliori.

Successivamente il temine “benchmark” è stato adottato anche nel campo dell’informatica per indicare un insieme di test volti a fornire una misura delle prestazioni di un computer, di una scheda grafica o altri sistemi dotati di microprocessore e sistema operativo per quanto riguarda diverse operazioni con l’importante possibilità di comparativa con “macchine” similari.

Tali test coprono e misurano diversi aspetti e funzionalità del DUT come la velocità del processore, la rapidità nell’eseguire determinate funzioni, l’accesso alla memoria, la capacità di renderizzare poligoni nel 3D, la velocità dei browser, etc.

Il problema più grande che ci siamo trovati ad affrontare è stata la scelta dei software per il “benchmarking” (da ora in poi li chiameremo BS ovvero Benchmarking Software) da utilizzare per effettuare dei test validi ed attendibili, in quanto i più venduti e famosi smartphone e tablet purtroppo utilizzano sistemi operativi differenti (Android, iOS, Windows Phone, BlackBerry), architetture diverse (es. ARM, Mips, x86....). Inoltre, la maggior parte dei BS disponibili sono legati ad un ben preciso sistema operativo, rendendo quindi impossibile la comparativa tra DUT che montano OS (sistemi operativi) diversi. Infine, c'è sempre il rischio che un determinato software sia ottimizzato per un'architettura in particolare.

In ogni caso abbiamo individuato una serie di BS che sono “cross-platform”, cioè di cui esistano versioni per le varie piattaforme (intese come sistema operativo) e che ci permettono di comparare i DUT anche se funzionanti con diverse piattaforme o architetture. D'altra parte, il fatto che uno specifico programmma bench sia disponibile per diverse piattaforme (es. Geekbench, GFX Benchmark, 3D Mark e più recentemente AnTuTu), non significa che i risultati siano poi effettivamente comparabili...

Inoltre, anche rimanendo all'interno della stessa piattaforma (es. Android), dobbiamo fare i conti con le diverse versioni del sistema operativo che possono cambiare i risultati dei benchmark di uno stesso prodotto, e non solo a livello macroscopico, con il cambiamento delle API - ad esempio passando da Ice Cream Sandwich (API level 15) a Jelly Bean (API level 16) - ma anche tra diverse revisioni che condividano le stesse API, come ad esempio tra la 4.0.3 e la 4.0.4. Maggiori informazioni sulle API Android sono disponibili a questo indirizzo.

C'è un'ulteriore variabile, legata all'hardware del DUT. Alcuni modelli, benché abbiano lo stesso nome commerciale, possono presentare alcune piccole differenze, non solo nella CPU (ad esempio come per il Samsung Galaxy S4, disponibile in USA ed EU con CPU quad Snapdragon 600, mentre le versioni asiatiche sono con la CPU octa Exynos 5, quast'ultima anche con clock diversi) ma anche nella qualità e velocità dei moduli di memoria disponibili per quel specifico lotto di produzione. Le variabili sono legate anche ad altri elementi, connessi alla temperatura, che discuteremo poco più avanti nel paragrafo dedicato alle condizioni di misura.

In ogni modo, nei nostri benchmark indicheremo sempre in calce la revisione del firmware o del sistema operativo utilizzata. Inoltre sarà molto probabile trovare nel prossimo futuro nei grafici di comparazione dei benchmark più utilizzati, legati ciascuno ad una diversa revisione del sistema operativo, come ad esempio le prestazioni con Android 4.0.4, 4.1.2 oppure con 4.2.2, senza escludere monografie legate ai benchmark effettuati su un singolo prodotto, analizzato con varie revisioni del sistema operativo.

Una ulteriore categoria di BS è rivolta ai browser. Si tratta di un sistema che analizza le prestazioni ottenute dai programmi che ci permettono di visualizzare le pagine del world wide web. L'analisi in questo caso è basata su script, più o meno complessi, legati a pagine web sempre disponibili online e quindi - almeno in teoria - comparabili direttamente tra tutte le piattaforme. Con questo sistema è possibile avere informazioni sugli stessi elementi analizzati dai classici BS, quindi CPU, GPU, memoria e così via.

La realtà è molto diversa dalla teoria e i risultati in questo caso sono legati non solo alle prestazioni dell'hardware del DUT ma anche alla “qualità” del browser, ovvero al tipo di browser (Safari, Chrome, Opera etc.) alle varie versioni di uno stesso browser e, in alcuni casi, alle “ottimizzazioni” che un produttore di smartphone o tablet fa del browser di default. Proporremo l'analisi dei benchmark che abbiamo scelto negli ultimi paragrafi di questo articolo.

La buona notizia è che i browser benchmark sono svincolati dalla velocità della connessione internet. Soltanto in un caso il sistema di browser benchmarking è legato in parte anche alla velocità e “pulizia” della connessione. Si tratta di BrowsingBench di EEMBC che ci ha “costretti” a costruire anche una gabbia di Faraday, in modo da proteggere dalle interferenze la connessione tra router e DUT e permettendoci di concentrarci su altri parametri.

Pubblicheremo anche i benchmark ottenuti con BrowsingBench probabilmente già il prossimo ottobre, appena avremo concluso la sperimentazione, che comunque è già in fase avanzata. Utilizzeremo BrowsingBench anche per l'analisi dell'autonomia, misurando il tempo di funzionamento dei vari DUT mentre effettuano in loop lo script e il rendering delle pagine web di test.

L'aspetto più importante di un test scientifico è quello che riguarda la ripetibilità dei risultati e in questo campo, ovvero delle prestazioni hw di smartphone e tablet, la coerenza e ripetibilità dei risultati è ostaggio di numerose variabili a corollario del test. La più importante riguarda la quantità di memoria libera e la contemporanea presenza di altri programmi in sottofondo che, sottraendo risorse al sistema in maniera casuale, potrebbero far variare i risultati.

Quindi, prima di installare i software di benchmarking, il DUT viene riportato alle condizioni di fabbrica, e viene comunque riavviato ad ogni test, con la scelta del migliore risultato su un minimo di 5 differenti test. In condizioni normali, con più programmi installati (es. Facebook, WhatsApp, widget vari...) le prestazioni sarebbero ben diverse ma sarebbe praticamente impossibile trovare un sistema per rendere ripetibili i risultati.

Un altro parametro su cui fare attenzione è la temperatura del DUT. Se la temperatura di alcuni elementi dell'hardware (es. la CPU) sale oltre un certo livello, si attivano dei meccanismi di protezione che limitano, ad esempio, il clock della CPU (thermal throttling). In questo caso il design e la qualità costruttiva sono parametri molto importanti ma ce ne sono anche altri che potrebbero entrare in gioco, come la temperatura ambiente.

Se si eseguono software di benchmarking molto lunghi e “pesanti” dello stesso identico prodotto, prima con temperatura ambiente di 30° Celsius e poi di nuovo con temperature al di sotto dei 10° Celsius, senza cover posteriore e con ventilatore che rinfresca ulteriormente la zona prossima alla CPU e GPU, è realistico attendersi prestazioni nettamente differenti: i nostri test sono effettuati con temperatura ambiente compresa tra 18° e 25° Celsius.

Anche la carica della batteria e la luminosità del display possono far aumentare sensibilmente la temperatura del DUT. Per questo motivo, i test vengono effettuati con batteria carica, senza che l'alimentatore venga collegato e fino a che la capacità della batteria non vada al di sotto del 75%. Sempre per riferimento, la luminosità del display viene regolata in modo che la luminanza sia di circa 100 cd/m².

Ed ora ecco l'elenco dei vari programmi di benchmarking che utilizziamo, suddiviso in categorie in base alle funzionalità esaminate, indicando per ogni software le principali funzionalità analizzate, i sistemi operativi supportati ed altre utili informazioni. Vi ricordiamo che ogni benchmark riportato in tabella viene selezionato al meglio di 5 diversi test.

AndEBench benchmark è un software che, per il momento, è disponibile esclusivamente per la piattaforma Android. Fornisce un metodo di valutazione standardizzato delle prestazioni di una CPU che riteniamo molto valido. AndEBench produce due risultati: AndEMark Native performance and AndEMark Java performance. Questi risultati sono rappresentati come iterazioni/sec: il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.eembc.org/andebench/

Anche CF-Bench è disponibile al momento soltanto per piattaforme Android. Si tratta di un software di benchmarking non soltanto per CPU ma anche per la memoria ed è stato specificatamente progettato per essere in grado di gestire i dispositivi multi-core. Nella nostra esperienza, CF-Bench produce un punteggio abbastanza stabile e testa le performance sia del codice sia nativo sia di quello managed. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: forum.xda-developers.com/showthread.php?t=1134768

I cosidetti "System Benchmark" hanno lo scopo di valutare l'intero sistema hardware e non soltanto le CPU come accade per i CPU Benchmark. In molti casi, oltre al risultato generale, i vari software di system benchmarking consegnano risultati anche più specifici poiché analizzano i vari elementi, come GPU, memoria e altro ancora.

AnTuTu Benchmark è un test sulle prestazioni dei dispositivi con sistema operativo Android, da poco disponibile anche per Windows Phone. Per Windows però al momento si tratta di una versione beta e lo stesso produttore sostiene che i risultati non sono ancora comparabili. AnTuTu analizza e misura le prestazioni della memoria, della CPU, dell'unità grafica sia in 2D che in 3D, oltre che la velocità di trasmissione dei dati, fornendo una serie di risultati la cui somma dà un indice di prestazione generale. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.antutu.com

GeekBench è il primo BS realmente cross-platform che permette una comparativa tra DUT basati su sistemi operativi differenti come Windows Phone, Android, iOS e Blackberry. Geekbench fornisce un insieme di benchmark che misurano in maniera veloce ed accurata le prestazioni di processore e memoria sia relative al singolo core che al multi-core. Al momento esistono due versioni di GeekBench: la rev 2.4.3 e la 3.0.0. Noi abbiamo scelto di utilizzare soltanto la versione più recente, ovvero GeekBench 3. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.primatelabs.com/geekbench/

Vellamo è una suite di benchmarking per dispositivi basati su Android Gingerbread o superiore. Tale suite è suddivisa in due "capitoli" principali, ognuno dei quali comprende numerosi "sottocapitoli" per il test di molteplici funzionalità del nostro DUT. L'insieme dei vari test fornisce due soli risultati, relativi ai due capitoli principali. Il Capitolo HTML5 valuta le prestazioni dei web browser mobile, mentre il capitolo Metal misura le performance del sottosistema CPU. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.quicinc.com/vellamo

WPBench è un programma di benchmarking creato da Robert Varga e dedicato esclusivamente ai dispositivi che montano Windows Phone come sistema operativo. Anche questo software fa parte della categoria dei System Benchmark e ci consegna una serie di valutazioni non solo sulle prestazioni di CPU, memoria RAM e card esterne ma anche su display e batteria. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.windowsphone.com/it-it/store/app/wp-bench-free

GFXBench è una suite di benchmark per la misurazione delle prestazioni di grafica 3D delle GPU nei dispositivi mobili. La grande importanza attribuita a GFXBench è dovuta alla possibilità di eseguire comparazioni delle GPU di smartphone e tablet che siano sia cross-platform che cross-API. E' disponibile per DUT che utilizzano al momento Android, iOS e Windows Phone. Il benchmark include animazioni 3D con la qualità console (T-Rex HD and Egypt HD) ma anche misure di grafica cosiddette a “basso livello”. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: http://gfxbench.com

3DMark è probabilmente il benchmark più famoso tra i gamers della prima ora e ci permette di confrontare le prestazioni grafiche delle GPU nel rendering 3D. Include due diversi test, Ice Storm basato sull'OpenGL ES 2.0 e Ice storm Extreme che mette a dura prova anche le unità grafiche di ultimissima generazione. Il test è disponibile attualmente solo per device con sistema operativo Android ma è stato annunciato dalla casa madre l'imminente rilascio del BS per dispositivi con iOS e Windows phone. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: www.futuremark.com/benchmarks/3dmark#android

JavaScript Sunspider analizza il core del linguaggio Javascript ma non le DOM (Document Object Model) o altre browser API. È realizzato per comparare diverse versioni dello stesso browser o browser differenti tra loro. Come per gli altri Browser Benchmark, si è scelto di effettuare i test mediante il browser di default installato sul DUT e Chrome. C' è anche da tenere in considerazione che i browser di default possono essere diversi nelle varie tipologie di sistemi operativi presenti nei DUT e che Chrome potrebbe non essere ottimizzato su alcune architetture, come avviene al momento per iOS. Esistono più versioni di Sunspider e noi abbiamo scelto la più recente, ovvero la versione 1.0.1, attendibile anche con BlackBerry OS10. Il risultato che otteniamo da questo BS è un valore in millisecondi che ci dà un'idea della velocità dell'esecuzione degli script proposti nei differenti browser. Il risultato migliore è rappresentato in questo caso dal valore più basso.

Per maggiori informazioni: www.webkit.org/perf/sunspider/sunspider.html

Google Octane è un altro Browser Benchmark che misura le prestazioni dello Javascript, eseguendo una suite di test che simulano le funzionalità delle più moderne e complesse applicazioni web dei nostri giorni. Il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: https://code.google.com/p/octane-benchmark

Futuremark Peacekeeper è una suite di Browser Benchmark disponibile presso la stessa casa produttrice di 3Dmark. Peacekeeper misura non solo la velocità di un browser ma anche la sua "compatibilità" con gli elementi HTML 5.0. Alla fine del test otteniamo un risultato che dà un'idea delle prestazioni complessive del nostro sistema in esame; maggiore sarà il benchmark, più velocemente risponderanno le pagine con contenuti dinamici. In altre parole, il risultato più elevato rappresenta il valore migliore.

Per maggiori informazioni: http://peacekeeper.futuremark.com

Nei prossimi giorni inseriremo altre guide sul benchmarking. Le prime saranno prima di tutto su display e sull'audio di smartphone e tablet, seguite immediatamente dalle prime recensioni. A seguire quelle su camera, videocamera e sulle misure acustiche (altoparlanti e auricolari). In breve il nuovo sistema di analisi e benchmark sarà esteso a tutti i prodotti come display e TV, proiettori, elettroniche audio, diffusori, fotocamere e videocamere.

... continua