Test in doppio cieco sui cavi. Ci proviamo?

[enrikon]

Ragazzi mi avete fatto venir voglia di fare una prova anch'io. Siccome non posso venire, me la farò per conto mio.
Le differenze fra cavi (anche quelli di alimentazione) le ho sempre sentite ma non ho mai fatto una prova "al buio" per cui non posso escludere in maniera assoluta che non si sia sempre trattato di suggestione.

Fra un po' dovrebbe arrivarmi un super cavo di alimentazione per il dac: con l'aiuto di mio figlio mi auto-sottoporrò a un test simile a quello che state organizzando. 30 prove con mio figlio che mi cambierà (o fingerà di cambiare) il cavo di alimentazione ad ogni ascolto (io bendato).
Sarò da solo, senza testimoni, quindi nessun indice di credibilità verso terzi ma solo verso me stesso (per capire se finora è stata solo suggestione ).
Se poi vi interessasse sapere com'è andata ve lo dirò, altrimenti lo tengo per me

[Picander]

Wow spero di aver innescato un buon punto di partenza per il forum. Ben presto un'affermazione sul forum non avrà abbastanza valore se non supportata da test doppio cieco

[Picander]

A casa mia i posti "utili" sono due, forse tre e quindi non ha senso mettere un "inquisito" di lato, anche se la differenza la sentirei pure li..

Sarebbe un problema per te stare di lato? Riuscire a misurare almeno in 5 è importante. Del resto hai sicuramente l'orecchio più allenato per questo genere di differenze. Io per esperienza professionale posso riconoscere una voce che sbaglia in un coro di 30 persone (e correggerlo con un'occhiataccia ), ma non sono sicuro di poter sentire questo genere di differenze alla prima sessione.

La maggior parte di voi è convinto che la differenza fra i due trittici sia riconoscibile solo da un pippistrello ma vi assicuro che per uno che ci sente normalmente la differenza è paragonabile a distinguere il blu dal rosso per uno che ci vede

E' per questo che secondo me non dobbiamo usare un metodo di misura che ignori le sfumature su differenze evidenti. Riconoscere due chitarre elettriche diverse non è facile come riconoscere una chitarra elettrica e una acustica. Anche questa sfumatura va misurata.

[SUPERSLIDE1965]

Giusto per arrivare ad una fine:
Sto notando che c'è una certa divergenza di opinioni sui risultati a livello statistico.
Io dico semplicemente che bisogna fissare ,in maniera molto precisa ,le eventuali percentuali di errore .
La distrazione esiste e non vorrei ci si ritrovasse a svalorizzare l'esito della prova perché non si e' definita questa cosa.
Se e' vero che 15/30 non puo essere considerato il 50%, per cui voto zero,
Mi sembra altamente limitante dire che 24/30 sia appena sufficiente.
Non trovate ?

Proviamo a ragionare.
Se i tester saranno 2 ,le prove diventano 60.
Facciamo l'ipotesi che ktm sia sbronzo e io abbia la febbre e alla fine del test sia io che lui ne azzecchiamo 24/30.

Secondo picander Il voto e' 6,ovvero appena sufficiente per stabilire se i cavi si sentono.
Ma se facciamo 2 calcoli,sommando( come e' ovvio che sia) i risultati dei 2 tester viene fuori che sono state azzeccate 48/60.

48 risposte azzeccate su 60 e' appena sufficiente secondo voi?

Secondo me siamo gia di fronte ad un esito molto preoccupante per gli scettici,altro che appena sufficiente.

Bisogna stabilire ragionevolmente una tolleranza massima entro la quale il test possa risultare scientificamente indiscutibile e che non si possa ,ragionevolmente parlando,dire che i test sono stati indovinati a caso.
Riusciamo?

[Picander]

secondo me sì perchè sottovaluti quanto "facile" sia fare 30/60. Distinguerne qualcuno non significa necessariamente che la differenza sia netta. Se la differenza c'è (e io tutto sommato penso di sì, perchè anche se non ho ancora ascoltato non posso comunque ignorare la sicurezza di Ktm) non è detto che sia forte e/o importante no? E' importante quando si riesce a distinguere molto facilmente.

Tu continui a guardare i 30, ma prova a immaginare di togliere i 15. Farne 24/30 è equivalente ad un punteggio di 9/15. Così come ti suona?

[SUPERSLIDE1965]

Bene,a questo punto allora propongo:

1)-di eliminare al supervisore l'obbligo di andare ad inserire nelle 30 prove,le 15 prove con i nobili e le 15 con i plebei.
Ovvero,il supervisore fa quello che vuole.
Così facendo non esiste più la possibilità che il tester ,sparando a caso possa azzeccarne 15.
In pratica la facciamo più complicata per il tester,
ma almeno il 15/30 diventa il 50% di risposte azzeccate e non lo 0%,
tra l'altro mi sembra anche più logico.
Le restanti percentuali diventano:

15/30 50% azzeccate -voto 5
18/30 60% azzeccate -voto 6
21/30 70% azzeccate -voto 7
24/30 80% azzeccate -voto 8
27/30 90% azzeccate -voto 9
30/30 100% azzeccate -voto 10

Mi pare che così sia tutto più limpido e chiaro,giusto?

2)-Ovviamente ,a tutela del tester,bisogna almeno imporre al supervisore un cambio (casuale)obbligatorio dei cavi ,ad esempio,ogni 3 prove,
per capirci:
Prova1- cavi A
Prova2- cavi A
Prova3- cavi B(obbligatorio il cambio cavi)
Ecc ecc
Questo per evitare che il supervisore possa decidere di fare sentire per 28 su 30 sempre lo stesso trittico.
Che non sarebbe un problema per il proprietario dell'impianto ,ma per il tester ospite si.
In pratica c'è il rischio che l'ospite ( ad esempio io) che non conosce a menadito l'impianto come il suo proprietario,possa perdere ogni riferimento se il supervisore per 10/20 o 30 volte consecutive mantiene lo stesso trittico di cavi,mentre per poter distinguere le differenze bisogna che al tester venga constantemente offerta la possibilita' di un confronto,per non perdere il riferimento.
Ripeto,non tanto per il padrone di casa ma per i tester ospiti,che si offrono volontari in una prova fatta non nel proprio impianto.


3)-I tester saranno 3,ovvero io,ktm e stratosfera .(un totale di 90 test)
Mi dissoccio dalla prova se si vuol far inserire un altro tester in più a questi sopracitati,per un semplice motivo:
Sono certo della loro competenza e capacita uditiva,di altri eventuali no.
Ergo,non mi metto in gioco per un test se non conosco le capacita dei miei giocatori.

Alla fine della prova la percentuale di errore o meno,verra calcolata sommando le risposte dei tester.

Esempio:
Ktm indovina 28/30
Stratosfera indovina 27/30
Superslide indovina 26/30

Significa che:
Su 90 test sono state indovinate 81 risposte,
Ovvero il 90%.

Rimane da stabilire quale sia la percentuale minima di risposte indovinate per poter stabilire che la prova sia scientificamente valida e inoppugnabile da chiunque ,anche da Einstein.

[enzo66]

@SUPERSLIDE65
Ho incrementato il numero dei lanci a 400 gruppi da 30. Risulta che 23/30 ha l'1 - 2% di probabilità di essere dovuto al caso. In nessuna delle 400 prove simulate è risultata la combinazione 24/30 che pertanto, se si verifica, non è casuale con ottime probabilità. Secondo il criterio usato da me assegnerei voto 9 - 9.5 a 24/30. La valutazione è del tutto personale nel senso che, di fronte ad un 24/30, me la sentirei di ordinare immediatamente il cavo in questione.
Ciao, Enzo

[Picander]

Allora, mi sto documentando in rete sulla statistica attorno questo tipo di test. In questo modo cercheremo di utilizzare un approccio più standard possibile. Nella teoria anche se i test non sono ditribuiti a 15/15 c'è comunque una probabilità vicina al 50% che il test possa essere indovinato a caso 15/30. Per ora non aggiungo altro, perchè ho individuato delle fonti buona ma attualmente non ho tempo di studiarmele. Vedrò stasera cosa ne riesco a tirare fuori.

In parole semplici comunque l'approccio è che più ci si allontana dal 15/30 più la probabilità di indovinare a caso diminuisce. Per esempio per indovinarne 21/30 hai una probabilità su 50 sparando a caso. 23/30 una su 500. 24/30 hai poco meno di una probabilità su 1000.
Vi informo in dettaglio più tardi quando ho tempo....

[enrikon]

Scusate ma se (paradossalmente) 2 tester su 3 cannassero alla grande (15 su 30) e il terzo le azzeccasse tutte (30 su 30)... cosa si dovrebbe pensare?
Io penserei che le differenze ci sono e sono in assoluto evidenti, e casomai avrei dubbi sull'udito dei 2 che hanno sbagliato

[Picander]

di fronte ad un 24/30, me la sentirei di ordinare immediatamente il cavo in questione

Anche su questo non c'è certezza, comprare il cavo dipende anche dalla qualità del cambiamento e dalla differenza percepita.

Sarebbe bello anche fare una misura con microfono delle due configurazioni a fine test, giusto per vedere se qualche differenza viene vista strumentalmente!

Risulta che 23/30 ha l'1 - 2% di probabilità di essere dovuto al caso.

Secondo la distribuzione binomiale dovrebbe essere 0,26%, penso che per calcolare un 1% di ordine di grandezza 400 test siano troppo pochi

edit:
Ho fatto la prova su 1000 prove, la probabilità è identica a quella calcolata con la distribuzione binomiale. Dai che ci siamo, abbiamo trovato l'approccio giusto. A stasera i risultati

[Picander]

Io penserei che le differenze ci sono e sono in assoluto evidenti, e casomai avrei dubbi sull'udito dei 2 che hanno sbagliato

Esatto, è per questo che non si possono esaminare i dati solo comulandoli.

[Guest_9525]

Indovinando 15/30 ho il 50% di probabilità se si cambiano i cavi ogni volta per le 30 prove, non sono un matematico. Ma se il cambio è casuale le probabilità non sono il 50%. Io posso riconoscere il suono del mio impianto perfettamente ma un altro teste no, se il cavo rimane sempre lo stesso per dieci volte consecutive questo puo anche perdere i riferimenti dopo alcune prove. Come ha detto Samuele il cambio "certo" andrebbe fatto a caso dopo non più di tre prove, ad esempio:
AABABBABBAABABBA,ecc
Qui si tratta di riconoscere le differenze fra cavi non studiare il test e trovare le percentuali d'errore, non siamo ad un esame universitario..
Se in un test cambiando in modo non ripetitivo i cavi per trenta volte uno indovina 24/30 è un eccellente risultato a mio avviso per determinare un risultato, altro che risultato minimo, sopra a 25, considerato che l'errore è umano, è quasi una certezza.

[SUPERSLIDE1965]

Scusate ma se (paradossalmente) 2 tester su 3 cannassero alla grande (15 su 30) e il terzo le azzeccasse tutte (30 su 30)... cosa si dovrebbe pensare?
Io penserei che le differenze ci sono e sono in assoluto evidenti, e casomai avrei dubbi sull'udito dei 2 che hanno sbagliato

Se i tester sono quei 3 che dicevo questa eventualità non potrà verificarsi(mai)
Ecco perché accetto la prova solo se i tester sono quelli .
Qualcuno potrebbe dire :
Ma se le differenze ci sono dovrebbero sentirle tutti?
E io dico di si,e presumo sarà così ,cioè il cambio cavi lo sentiranno tutti i presenti in sala,ma non si mai.
C'è sempre l'incognita di che sente poco o di chi non sa cosa ascoltare e se questa cosa non e' un problema in una normale serata tra appassionati ,lo diventa se si deve fare un test.

Esatto, è per questo che non si possono esaminare i dati solo comulandoli.

Stiamo scherzando vero?
Allora ,o mettiamo dei paletti o non ci saltiamo più fuori

[Guest_9525]

Anche su questo non c'è certezza, comprare il cavo dipende anche dalla qualità del cambiamento e dalla differenza percepita.

Sarebbe bello anche fare una misura con microfono delle due configurazioni a fine test, giusto per vedere se qualche differenza viene vista strumentalmente!


Secondo la distribuzione binomiale dovrebbe essere 0,26%, penso c..........[CUT]

Misurami la profondità o l'ampiezza della scena, oppure la miglior definizione in gamma alta? Se hai questi strumenti portali...
La risposta in frequenza di un segnale sinusoidale sarà ESATTAMENTE LA STESSA.

[Gingre]

.2)-Ovviamente ,a tutela del tester,bisogna almeno imporre al supervisore un cambio (casuale)obbligatorio dei cavi ,ad esempio,ogni 3 prove,per capirci:
A,A-B
A,B-A
Ecc ecc
Questo per evitare che il supervisore possa decidere di fare sentire per 28 su 30 sempre lo stesso trittico..........[CUT]

assolutamente no! l'ordine deve essere puramente casuale, così come il numero di eventi consecutivi!
la scelta sarà condizionata
mi spiego se io ho 30 eventi avrò tot probabilità di indovinare una sequenza casuale di A o B
se io so che gli eventi A sono pari agli eventi B e che ogni 3 prove ci sarà un obbligatorio cambio di cavi.... le mie probabilità di indovinare a caso una sequenza aumentano....
o no?

esempio
SEQUENZA
A-A-B-A-B-A-B-B-A-B-B-A-A-B-A-B-A-B-B-A-B-B-A-A-B-B-A-B-A-A

oppure

A-B-A-B-A-B-B-B-B-B-B-A-A-A-A-A-A-B-A-B-A-A-A-A-B-B-A-A-A-B

se in una sequenza di 5-6 volte dello stesso cavo mi dici che è stato cambiato 3 volte farò delle considerazioni diverse..

altrimenti sai gia che in una sequenza di 3 eventi c'è un cambio effettivo....