Test in doppio cieco sui cavi. Ci proviamo?

[Picander]

Non c'è bisogno di questo atteggiamento per rendere utile un test del genere, nessuno di noi ha voglia di vincere nulla, non ce ne viene nulla soprattutto, io e Slide ci siamo messi a disposizione per fare un test penso utile

Questo è l'atteggiamento giusto!!!
Ricordo anche che bisogna porsi non come soggetti, lasciar perdere tutte le convinzioni personali e limitarsi ad ascoltare cercando il più possibile di indovinare. Per questo atteggiamenti esageratamente scettici possono essere dannosi, ma anche atteggiamenti del genere "dopo due tentativi ci fermetemo perchè il risultato è scontato" possono essere dannosi. Almeno per molti il risultato non sembra così scontato e se durante il test uno si crederà sordo perchè non sentirà una netta differenza precedentemente decantata rischia di peggiorare il risultato per colpa dell'ansia da prestazione.

Se si crede nella serietà del test (e a tal fine è importante che il test sia credibile, ossia che prevediamo tutto) sarà difficile portare argomentazioni valide a smontarlo. Se consideriamo che le modalità del test sono fornite da persone scettiche (ma non prevenute) c'è da star tranquilli

Ribadisco la domanda (rispondete numerosi):
Secondo voi è il caso di misurare una differenza anche se si sente solo con confronti molto ravvicinati e contrastanti, o dobbiamo evidenziare se la differenza è tale da essere riconoscibile senza "facilitarne" l'individuazione? (evitando troppe ripetizioni, intervallando ascolti non ciechi per ritrovare il riferimento, etc...)

@petshopboy, sei benvenuto in questa discussione se hai intenzione di proporre qualche idea utile allo scopo del test. Se devi infilarti solo per provocare e continuare il flame, per cortesia, continua altrove su uno dei thread che parlano di cavi,

@gingre lo stesso, ti è stato già chiesto e anche un mod ti ha avvertito. Mi sembra anche che tu abbia scritto qualcosa di utile in questo 3d, se vuoi continuare a esserlo non farti sospendere!!

[petshopboy]

@ picander è grazie ad un solo personaggio che questa discussione è scaduta nel ridicolo. basta rileggere per rendersene conto

[Picander]

non è scaduta, sta solo cercando di proseguire nonostante interventi inutili. Anche tu di certo non puoi dire di aver contribuito a risollevarla però...

Scusate se ripeto ma la questione è importante e vorrei che concluso il flame ci si concentrasse su questo (rispondete numerosi):
Secondo voi è il caso di misurare una differenza anche se si sente solo con confronti molto ravvicinati e contrastanti, o dobbiamo evidenziare se la differenza è tale da essere riconoscibile senza "facilitarne" l'individuazione? (evitando troppe ripetizioni, intervallando ascolti non ciechi per ritrovare il riferimento, etc...)
Scegliere serve a decidere la modalità del test

[brando]

Io credo che trattandosi di differenze così nette,come vene detto dai cavofili,credo che qualche secondo di stacca attacca debba essere accattato,per riascoltare il riferimento dopo x ascolti direi di no.

[enzo66]

Do le mie preferenze:
60% alla prima modalità: "misurare" una differenza anche se si sente solo con confronti molto ravvicinati e contrastanti;
40% alla seconda modalità.
Penso che sia piuttosto irrilevante sul risultato scegliere una modalità piuttosto che l'altra ma la prima dovrebbe ridurre, anche se di poco, la durata totale del test.
Ciao, Enzo

[petshopboy]

@ Picander : svuota la casella dei PM, ti ho scritto ma mi è tornato un'avviso indietro che dice che se non svuoti la casella dei PM non puoi ricevere il mio.

Grazie e scusate per la digressione

[nenny1978]

Secondo voi è il caso di misurare una differenza anche se si sente solo con confronti molto ravvicinati e contrastanti, o dobbiamo evidenziare se la differenza è tale da essere riconoscibile senza "facilitarne" l'individuazione? (evitando troppe ripetizioni, intervallando ascolti non ciechi per ritrovare il riferimento, etc...)..........[CUT]

Mi permetto di dare la mia opinione...
Secondo me non serve facilitare l'individuazione se si verificano queste condizioni:
- i tester solo 3, di cui uno il proprietario
- si utilizzano i cavi già inseriti nell'impianto (Transparent, se ho capito bene).

Altrimenti, se si usano cavi diversi, e si amplia la platea dei tester, secondo me inserire degli accorgimenti per rendere meno difficile il test potrebbe essere utile.

Il motivo per cui ritengo (da spettatore) che possa essere utile, è che la scelta di inserire i cavi si fa sempre per il proprio impianto, che appunto si conosce a menadito. Non si verifica di solito che si debba decidere per altri, su impianti che non si possiedono e che non si conoscono. Per replicare più da vicino questa situazione, secondo il mio punto di vista, non si possono introdurre troppe variabili rispetto all'ipotesi iniziale: ***** nel proprio impianto riconosce i suoi cavi da un comune cavo di alimentazione.

Se il test è svolto da più di tre tester, e tra questi vi è anche chi non è molto esperto, il testa o croce secondo me garantisce a sufficienza anche la necessaria ripetizione periodica, e intervallare (forse meglio dopo 10 che dopo 6 test) invece potrebbe aiutare la concentrazione necessaria agli ospiti.

Essenziale, anche secondo me, che la vera identità di A e B rimanga nascosta fino alla fine e ripetere gli ascolti identificativi di A e B prima di riprendere dopo gli eventuali intervalli.

[Gingre]

Sono d'accordo con te picander, tendo un filino a innervosirmi se mi si vuole prendere per i cosiddetti!
La mia posizione riguardo al test la conosci, quoto anche Brando, se le differenze sono così nette non ci sará difficoltà nel rilevarle!

[SUPERSLIDE1965]

- si utilizzano i cavi già inseriti nell'impianto (Transparent, se ho capito bene)..........[CUT]

no e' stato detto che si e' disposti a procurare altri cavi,privi di scatolotti,onde evitare qualsiasi tipo polemica post-prova

Solo che forse non vi e' ancora chiaro un punto (ed e' normale visto che in parecchi non hanno mai fatto confronti di questo tipo):
Il problema ,sopratutto per i tester che si offrono a fare la prova fuori casa ,non e' nell indovinare la differenza tra il cavo nobile e il plebeo, che e' e sara' ben evidente.
Il problema e' la memoria.

Ci riprovo con un esempio:
Se accendo l'impianto di casa mia e c'è qualcosa che non va ,anche solo un calo di tensione nella rete,me ne accorgo subito.
Se vengo a casa vostra a sentire l'impianto ,non mi accorgerei di nulla.
Questo cosa significa tradotto nella prova?
Significa che se faccio una prova in cieco in un impianto che non e' il mio non ho riferimenti se non che le differenze tra i cavi.
Solamente confrontando i cavi posso avere un riferimento.

Se fossi a casa mia ,dove sono abituato ad ascoltare in un certo modo,se mi fai ascoltare 150 volte il cavo plebeo,mi rendo perfettamente conto che c'è qualcosa che non va,per cui non ci sarebbe alcun problema a fare un test dove il supervisore mi faccia sentire per 28 su 30 il cavo plebeo.
Me ne accorgo semplicemente perché so che il mio impianto solitamente suona meglio.

Fuori casa,non ho questo riferimento ,ma devo fare affidamento solo alle differenze soniche introdotte al cambio cavi per rispondere al test.
Cosa significa questo?
Significa che sento un cavo ,faccio l'ascolto e mi faccio un idea.
Se all'ascolto successivo sento l'impianto andare meglio( o peggio), ho immediatamente capito quale cavo c'era prima e quale c'e adesso.
Il riferimento c'è l'ho sui cavi, non sull impianto
Più queste prove vengono dilatate e più viene inficiato il test.

Per il padrone di casa invece e' diverso,lui ha anche il riferimento del suo impianto e non ha bisogno di arrivare a confrontare i 2 cavi per capire che qualcosa e' cambiato.


Questo e' il motivo per cui e' stato chiesto di cambiare i cavi almeno ogni 3 test.

All atto pratico ,al fine di constatare se ci sono o meno differenze tra i cavi,questa proposta non va ,ne a inficiare ne a facilitare in niente,serve solo per non introdurre nei tester "ospiti" ,difficoltà di memoria,ma nulla cambia ai fini dello scopo della prova,perché i tester saran sempre bendati e non sapranno comunque che cavi verrano attaccati,ne al primo test,ne al terzo.

Mi sono spiegato ?

[Picander]

Allora, come promesso vi riporto una sintesi su ciò che ho assimilato leggendo diverse fonti sul test "doppio cieco".

Cenni sul test Doppio Cieco
Prima di tutto esaminiamo lo scopo del test doppio cieco. Questo genere di test si prefigge di misurare l'effetto di un fenomeno sulla persona al netto di ogni influenza emotiva o cognitiva. Viene usato in campo audio comparando il suono di due oggetti simili, in campo medico comparando un medicinale con un placebo, o in qualsiasi caso in cui bisogna verificare la differenza tra due oggetti, o l'efficacia di un oggetto
Nel nostro caso lo scopo è "si sente la differenza tra un cavo economico e uno hi-end?"
Doppio cieco non significa affatto essere bendati (introdurrebbe nell'ascoltatore un fattore di stress dannoso per il risultato), significa che l'esaminatore non ha contatti con l'ascoltatore, e viceversa al fine di evitare l'influenza dell'esaminatore sull'ascoltatore.

Interpretazione dei dati rilevati con il test, statistica e fattore p
Premetto che ho consultato diverse fonti, ma ce ne è una particolare che riassume eccellentemente tutto l'argomento, in più si riferisce pure al campo audio che male non fa.
http://home.provide.net/~djcarlst/abx_p9.htm

Molti test in doppio cieco vengono eseguiti correttamente ma interpretando i risultati richiedendo un eccessivo numero di positivi (come proponevo inizialmente io) ossia stabilendo che il riconoscimento di una differenza sia certificata quando il numero delle risposte esatte superi il 75% dei test.
In realtà applicando la statistica al risultato del test si può ottenere un risultato positivo anche raggiungendo una percentuale più bassa di risposte giuste. Perchè?
Il tutto si riconduce alla probabilità che un gruppo di risposte esatte sia dovuta alla fortuna, ossia quello che viene definito il fattore p. Il fattore p è un valore calcolato in base a due valori: quante risposte esatte vengono date e quanto è il numero di tentativi. In sintesi quando un risultato positivo ha una bassa probabilità di essere dovuto alla fortuna, è ritenuto giustificato da una reale differenza percepita.

Facciamo un esempio vicino al nostro per rimanere sul pratico: si può dire che facendo un test con 30 ascolti, già dare 21 risposte è indice di un buon risultato perchè la probabilità di indovinarne 21 a caso, il fattore p, è di 0.02 ossia una su 50. Il fattore p viene di solito calcolato con una funzione chiamata "distribuzione binomiale" che potete trovare nei vostri excel e oocalc.

Casistica pratica, numero di test e soglia per un risultato positivo
Ora che abbiamo assimilato i concetti passiamo a fornire due dati importanti che ci serviranno da guida per il nostro test:
1-Ovviamente più sono altri i numeri di tentativi più ci si allontana dalla probabilità di errori (falsi positivi), ma a quanto pare più fonti ritengono che un numero tra 16 e 20 tentativi sia efficace allo scopo di un test doppio cieco. Questo ci semplifica la vita perchè ci darebbe la possibilità di fare due test quasi nello stesso tempo che stavamo programmando di impiegare per uno

2-Un test viene ritenuto valido quando il fattore p è uguale o inferiore a 0.05, molto valido quando inferiore a 0.01. Dobbiamo fare attenzione però: se il test è fatto da 5 persone dobbiamo dividere quel valore per 5, perchè aumenteremmo la probabilità che uno indovini a fortuna. Quindi dobbiamo considerare un fattore p < 0.01 ossia un punteggio di 16/20 o 17/20 per un risultato molto valido.
Potremmo anche cumulare il risultato dei 5 tester in quel caso un risultato positivo si può ottenere con 59 risultati positivi su 100 e quindi p < 0.05 oppure 63/100 per un risultato molto valido e p<0.01. Il primo caso dimostra che almeno una persona riesce a percepire una differenza, il secondo che un gruppo di 5 persone riesca a percepire una differenza. Notare come in proporzione i valori siano diversi!


Conclusioni
Per il nostro test possiamo quindi affidarci a 20 tentativi e fare due analisi:
1-la differenza può essere percepita da una sola persona con particolare udito se dà 16/20 risposte corrette, ed è particolamente valida se ne percepisce 17/20
2-un gruppo di 5 persone reputa la differenza udibile se la somma dei risultati raggiunge i 59 ed è particolarmente valida se supera i 63

Spero di essere stato abbastanza semplice, chiaro e che vi troviate d'accordo con i risultati ottenuti.


p.s.
Ho dato abbastanza per stasera, risponderò dopo ad eventuali domande e altre questioni sollevate durante la stesura di questo papiro

[ABAP]

Spero la discussione prosegua sulla scia degli ultimi interventi.
Per cortesia d'ora in poi evitate di riprendere altri utenti per il fatto di innescare flames, al contempo accendendone di nuovi; oppure di postare in modo pesantemente polemico, per poi tornare sui propri passi... e magari ricominciare da capo.

[gius76]

Grande Picander! un vero...papiro! Comunque su 20 tentativi, 14 e 15 corrispondono rispettivamente al <5% e al <1% di questo fattore p (che non c'è nei libri di statistica ma rende molto bene l'idea) Quel 17 già ad occhio mi sembra un po' troppo.

A questo punto meglio lasciar decidere a nordata e ad Alberto il numero di tentativi in base a ragioni pratiche, tecniche e di opportunità, tenendo conto ovviamente che più si alza il numero di tentativi, minore è la proporzione di azzeccate richieste, a parità di fattore p.

[stazzatleta]

gingre, è veramente l'ultimo avvertimento

[antani]

Ancora con questi test ciechi? Ma non li avevamo già fatti? Il risultato e' sempre uguale, sia quello statistico (nessuna capacita' di nessuno di distinguere nulla), sia quello personale (ognuno rimane della propria opinione).

[enrikon]

Ottimo Picander.
Quindi si tornerebbe ai 20 tentativi ipotizzati all'inizio. Sono d'accordissimo: bastano e avanzano per fare un test serio, e toglierebbero pure la necessità di fare una pausa a metà strada per schiarirsi le idee (cosa che appesantirebbe il tutto).