Il problema più grande che ci siamo trovati ad affrontare è stata la scelta dei software per il “benchmarking” (da ora in poi li chiameremo BS ovvero Benchmarking Software) da utilizzare per effettuare dei test validi ed attendibili, in quanto i più venduti e famosi smartphone e tablet purtroppo utilizzano sistemi operativi differenti (Android, iOS, Windows Phone, BlackBerry), architetture diverse (es. ARM, Mips, x86....). Inoltre, la maggior parte dei BS disponibili sono legati ad un ben preciso sistema operativo, rendendo quindi impossibile la comparativa tra DUT che montano OS (sistemi operativi) diversi. Infine, c'è sempre il rischio che un determinato software sia ottimizzato per un'architettura in particolare.

In ogni caso abbiamo individuato una serie di BS che sono “cross-platform”, cioè di cui esistano versioni per le varie piattaforme (intese come sistema operativo) e che ci permettono di comparare i DUT anche se funzionanti con diverse piattaforme o architetture. D'altra parte, il fatto che uno specifico programmma bench sia disponibile per diverse piattaforme (es. Geekbench, GFX Benchmark, 3D Mark e più recentemente AnTuTu), non significa che i risultati siano poi effettivamente comparabili...

Inoltre, anche rimanendo all'interno della stessa piattaforma (es. Android), dobbiamo fare i conti con le diverse versioni del sistema operativo che possono cambiare i risultati dei benchmark di uno stesso prodotto, e non solo a livello macroscopico, con il cambiamento delle API - ad esempio passando da Ice Cream Sandwich (API level 15) a Jelly Bean (API level 16) - ma anche tra diverse revisioni che condividano le stesse API, come ad esempio tra la 4.0.3 e la 4.0.4. Maggiori informazioni sulle API Android sono disponibili a questo indirizzo.

C'è un'ulteriore variabile, legata all'hardware del DUT. Alcuni modelli, benché abbiano lo stesso nome commerciale, possono presentare alcune piccole differenze, non solo nella CPU (ad esempio come per il Samsung Galaxy S4, disponibile in USA ed EU con CPU quad Snapdragon 600, mentre le versioni asiatiche sono con la CPU octa Exynos 5, quast'ultima anche con clock diversi) ma anche nella qualità e velocità dei moduli di memoria disponibili per quel specifico lotto di produzione. Le variabili sono legate anche ad altri elementi, connessi alla temperatura, che discuteremo poco più avanti nel paragrafo dedicato alle condizioni di misura.

In ogni modo, nei nostri benchmark indicheremo sempre in calce la revisione del firmware o del sistema operativo utilizzata. Inoltre sarà molto probabile trovare nel prossimo futuro nei grafici di comparazione dei benchmark più utilizzati, legati ciascuno ad una diversa revisione del sistema operativo, come ad esempio le prestazioni con Android 4.0.4, 4.1.2 oppure con 4.2.2, senza escludere monografie legate ai benchmark effettuati su un singolo prodotto, analizzato con varie revisioni del sistema operativo.