Interlacing/Deinterlacing: Tecnica, Pulldown e Algoritmi

[ABAP]

1. PREMESSA
Non sono un tecnico, non sono un esperto, sono solo un utente di questo forum che pian piano si è appassionato alle varie problematiche che interessano la visione e soprattutto la qualità delle immagini mostrate daiTV LCD/Plasma.

Ho così cominciato a raccogliere informazioni sull'interlacing/deinterlacing e mi è venuto in mente di condividerle con gli utenti di AVMagazine, certo che capiscano l’intento, che non è assolutamente quello di fare sfoggio di conoscenza (alla fine dei conti il lavoro è quello di copia e incolla da internet), quanto piuttosto di raccogliere il maggior numero di correzioni/osservazioni possibili, al fine di aumentare tutti assieme l’attendibilità di quanto riportato nelle pagine/post seguenti.

Un grazie in particolare va a (in ordine alfabetico): gamete, jento, kiki76, nenny1978, Pigna Corelli, revenge72, che nel corso dei mesi hanno contribuito a migliorare, aggiornare e arricchire il thread.

2. TEORIA E RAGIONI DELL'INTERLACCIAMENTO/DEINTERLACCIAMENTO DEI SEGNALI

2.1 Definizione Matematica (Teorema di partizione di Fraenkel)​

2.2 Definizioni e tipi di segnali: interlacciare/to, deinterlacciare/to, progressivo​

2.3 Materiale di origine Filmica o Televisiva​

2.4 Motivi dell’applicazione dell’interlacciamento ai segnali televisivi​

3. STANDARD: RISOLUZIONI e FREQUENZE

4. INTERLACING/DEINTERLACING, CADENZE e PULLDOWN

4.1 I Step: Trasformazione del materiale filmico in interlacciato (Telecine e altri tipi di Pulldown)​

4.1.1 2:3 (anche detto 3:2) Pulldown​

[URL="http://www.avmagazine.it/forum/106-tecnica-display-e-tv/188456-interlacing-deinterlacing-tecnica-pulldown-e-algoritmi?p=2962139#post2962139"]4.1.2 2:2 e 2:2:2:2:2:2:2:2:2:2:2:3 Pulldown[/URL]​

4.1.3 3:3:2:2 (2:3:3:2 / 2:2:3:3) Pulldown​

4.1.4 Altri Pulddown​

4.2 II Step: Deinterlacing​

4.2.1 Proiezione su CRT​

4.2.2 Proiezione su LCD/PLASMA - Deinterlacing​

4.2.2.1 Inverse Telecine​

4.2.2.2 Altre Tecniche e Algoritmi di Deinterlacing​

4.2.2.2.1 Field Combination​

4.2.2.2.2 Field Extension​

4.2.2.2.3 Motion Detection/Compensation​

5. FAQ

6. LOG

 

[ABAP]

2. TEORIA E RAGIONI DELL'INTERLACCIAMENTO/DEINTERLACCIAMENTO DEI SEGNALI

Nonostante sia una tecnica (o problema?) che nasce praticamente assieme alla stessa TV, l’interlacciamento dei segnali e il relativo deinterlacciamento – spesso mal eseguito anche su TV di fascia alta, se non altissima - sono tutt’oggi la causa del decadimento della qualità delle immagini quando con TV LCD o Plasma si visualizzano segnali che non nascano direttamente come progressivi.

 

[ABAP]

2.1 Definizione Matematica (Teorema di partizione di Fraenkel)

Dal punto di vista puramente matematico, il teorema di partizione di Fraenkel definisce l’interlacciamento/deinterlacciamento come il metodo che consiste nel creare un nuovo flusso di dati partendo da due flussi separati, ognuno dei quali abbia una sequenza scandita da un intervallo temporale costante; oppure al contrario costruire due flussi di dati ognuno dei quali abbia una sequenza scandita da un intervallo temporale costante a partire da uno unico.

 

[ABAP]

2.2 Definizioni e tipi di segnali: interlacciare/to, deinterlacciare/to, progressivo

Immaginiamo innanzitutto di suddividere un determinato fotogramma in una serie di linee/fettine orizzontali:

• Interlacciare indica la suddivisione di un determinato fotogramma (Frame) in due parti (semiquadri o field), uno contenente le sole linee pari (detto per l’appunto field pari) e l’altro contenente le sole linee dispari (field dispari)
• Deinterlacciare significa fare il processo inverso, ovvero partire dai semiquadri in cui l’immagine era stata inizialmente suddivisa per ricostruire il frame originale.
• Progressivo, indica un segnale che contenga, al contrario di uno interlacciato, tutte le linee in contemporaena, senza suddivisione in field.

Nota Bene: TUTTE le TV LCD/PLASMA esistenti sono in grado di “proiettare” solo e esclusivamente immagini in modo progressivo (ovvero di “disegnare” a schermo in contemporanea TUTTE le linee, non alternando campi pari e dispari).

Veniamo quindi al punto: se il segnale dato in pasto alla TV è di natura interlacciata (e così è per tutte le emittenti televisive, anche quelle HD che siano satellitari o digitali terrestri, che trasmettono ad esempio in 1080i), la TV prima di creare l’immagine sullo schermo DEVE deinterlacciarlo, per farlo diventare progressivo.

 

[ABAP]

2.3 Materiale di origine Filmica o Televisiva

Non tutti i segnali interlacciati sono costruiti allo stesso modo. Il modo in cui l’immagine viene acquisita e eventualmente scomposta in field pari e dispari varia fondamentalmente a seconda della sorgente.
Per il momento, tralasciamo volutamente l’argomento frequenze/cadenze, ovvero trascuriamo le frequenze a cui il materiale è filmato e/o riprodotto.

Materiale di origne Televisiva
In un segnale acquisito tramite network televisivo, la stessa sorgente (telecamera), lavora in modo interlacciato, acquisendo alternativamente un field pari e uno dispari.
Immaginiamo un esempio limite: telecamera fissa che riprende un soggetto in movimento ad altissima velocità: in un determinato istante acquisiamo le linee dispari; quando nell’istante successivo acquisiamo le linee pari, l’oggetto si sarà spostato, per cui se provasssimo a ricomporre assieme primo e secondo semiquadro (diciamo un grezzo deinterlacciamento) otterremmo una immagine seghettata.
L'immagine di seguito riassume in modo molto schematico quanto appena detto.

Al contrario, data l’elevata frequenza con cui viene mostrata a schermo l’alternanza dei semiquadri pari e dispari, l’occhio non percepisce l’alternanza dei singoli semiquadri. L’effetto per il cervello è quello di una visualizzazione fluida e senza “buchi”.

Tornando all’esempio di prima (vedi immagine), noi percepiamo l’immagine come seghettata perche’ non la stiamo guardando in movimento e stiamo guardando in contemporanea tutti e due i field. Ma se vedessimo a schermo alternarsi i due field a 50Hz l’occhio percepirebbe il quadrato in movimento, senza scalettature.

Materiale Filmico
Il materiale filmico è acquisito per sua stessa natura in modo progressivo. Un singolo fotogramma di una pellicola contiene di per se tutte le “informazioni”, per cui anche scomponendolo in field pari e dispari, ciascuna coppia di field contiene tutte le informazioni necessarie a ricostruire il frame orirginale, senza alcun artefatto. Quando una pellicola va riversata su un supporto o preparata non per la visione al cinema, ma in TV, bisogna necessariamente interlacciare il materiale originale.
A questo punto (purtroppo!!) entra inevitabilmente in gioco il rapporto tra frequenza a cui il materiale e’ stato acquisito, e quello a cui va trasmesso o “inciso” sul supporto (DVD).
Di questo ci occupiamo dopo (4. INTERLACING/DEINTERLACING, CADENZE e PULLDOWN).

Riassunto e Sintesi dei Procedimenti Necessari
Ad ogni caso, è importante non perdere di vista la “catena” nel suo complesso, per non perdersi.

• Materiale televisivo: nasce interlacciato; se visionato su CRT non necessita di alcun trattamento, se visionato su TV progressiva va prima deinterlacciato
  
• Materiale filmico: nasce progressivo (pellicola cinematografica), se trasmesso via network televisivo va prima interlacciato. A quel punto, se visionato su CRT non necessita di alcun ulteriore trattamento, se visionato su TV progressiva va deinterlacciato.

 

[ABAP]

2.4 Motivi dell’applicazione dell’interlacciamento ai segnali televisivi

Per quale motivo un giorno (su per giù all’inizio delle trasmissioni televisive) si decise di ricorrere all’interlacciamento dei segnali?
I motivi che portarono a tale scelta per la trasmissione dei segnali televisivi furono principalmente tre, legati sia alle tecniche di trasmissione del segnale stesso sia al tipo di TV (CRT) per cui il sistema fu pensato:

1. le TV CRT, sulle quali il segnale era destinato a essere mostrato, si basavano (e si basano tutt’oggi, ad eccezione di alcune in grado di trasmettere segnali progressivi) non a caso sullo stesso principio: il cannone a elettroni infatti “disegna” a schermo prima le linee dispari, poi le linee pari, nella stessa sequenza in cui sono state acquisite e trasmesse;
   
2. riduzione della banda passante: a parità di banda occupata dal segnale, interlacciarlo permette di campionarlo con una frequenza doppia per un determinato di linee (e quindi di mostrarlo ad una frequenza sufficientemente alta da ingannare l’accoppiata occhio/cervello, come detto al punto precedente). In alternativa, fissando frequenza e numero di linee, di trasmetterlo usando la metà della banda. Infine, ultima e forse più interessante variante, tenendo fisse frequenza e banda passante, di raddoppiare il numero di linee. Ad esempio (fonte Wikipedia), un segnale in alta definizione 1080i50, interlacciato con risoluzione 1920x1080 e frequenza di 50 Hz, occupa una banda simile a un segnale 720p50, a scansione progressiva con risoluzione di 1280x720 e frequenza 50 Hz. Il primo segnale però ha circa il 50% in più di risoluzione spaziale;
   
3. aumento della qualità delle immagini (sui CRT), in particolar modo dovuto alla riduzione dello sfarfallio e alla migliore rappresentazione dei soggetti in movimento, che risultano piu’ fluidi. Su questo argomento, ovvero quello della maggior fluidità osservabile su materiale interlacciato torneremo dopo.

 

[ABAP]

3. STANDARD: RISOLUZIONI e FREQUENZE

Ovviamente, come sempre, Stati Uniti e resto del mondo non si misero d’accordo:

• PAL(EUROPA): 50 campi al secondo (50Hz), 625 linee, campi dispari disegnati per primi. Il formato PAL è spesso indicato con la sigla 576i, che è un modo abbreviato per indicare la risoluzione in pixel (720 x 576) corrispondente al segnale PAL. Perchè si dice 576i e non 625i, prendendo a riferimento il numero di linee su cui è definito lo standard? Perchè delle 625 linee a disposizione, solo 576 vengono effettivamente utilizzate per trasmettere l’immagine, mentre le restanti sono usate per trasmettere altre informazioni.
• NTSC (USA): 59,94 campi al secondo (59,94Hz), 525 linee, campi pari disegnati per primi. Viene comunemente indicato come 480i. La risoluzione per standard televisivi è in questo caso di 646 x 486 pixel.

Mi è abbastanza chiaro il motivo per cui NTSC e PAL sono basati su frequenze diverse, essendo esse legate alla frequenza della corrente alternata distribuita nei diversi paesi.
Sinceramente ignoro il perchè si sia deciso si basare i due sistemi su risoluzioni differenti. Tornando al discorso banda passante, potrei suppore che essendo la banda passante fissata non dai paesi ma da limiti tecnologici e quindi uguale per tutti, chi lavorava su una frequenza maggiore dovette per forza di cose abbassare la risoluzione. Ma, ripeto, è solo una mia supposizione. Chiunque voglia smentire e correggere è il benvenuto

 

[ABAP]

4. INTERLACING/DEINTERLACING, CADENZE e PULLDOWN

Abbiamo messo assieme tutte le informazioni necessarie a trattare l’argomento pulldown. Ora si tratta di “amalgamarle”.
Nel seguito tenterò di seguire l’ideale percorso che un flusso di dati fa dal momento in cui viene creato/ripreso a quello in cui viene proiettato sulla TV.

 

[ABAP]

4.1 I Step: Trasformazione del materiale filmico in interlacciato

Veniamo allora ad un primo esempio, il più classico, per capire come sia possibile passare da un materiale inciso su pellicola, quindi a 24fps e in un certo senso “progressivo” (ogni frame di pellicola, ovvero ogni fotogramma, contiene tutte le teoriche linee, non solo una parte di esse) ad un materiale interlacciato, alla cadenza non più di 24fps, ma di 50field/s (PAL), o 59.94field/s (NTSC).

 

[ABAP]

4.1.1 2:3 (anche detto 3:2) Pulldown

Questo pulldown è generalmente usato nei paesi NTSC, in quanto il suo obiettivo è quello di passare dal 48 a 60 fields, o da 24 a 30 frame.
Il principio matematico è abbastanza semplice: ogni 4 field originali se ne duplica 1. In questo modo, si hanno 12 field in più (ogni 48), che sommati agli iniziali 48 ne danno in tutto 60.
L’importante a questo punto è ricombinare i field nella giusta sequenza e, ancor prima, duplicare quelli giusti.
Nello schema riportato qui sotto ho tentato di riassumere la procedura utilizzata a livello di sequenza.

Prendiamo ora a riferimento i primi 4 frame della sequenza originale: vengono innanzitutto duplicati il field dispari n. 2 e il field pari n. 4.
Nella struttura definitiva a 60field (mostrati su CRT), il primo frame viene ricomposto esattamente tramite i due field originali (vedere figura di seguito). L’unica differenza è che questo frame verrà proiettato per 1/30 di secondo, anzichè 1/24.
Il secondo frame sarà composto dalla sequenza 2S - 2P, pertanto rimarrà anch’esso identico all’originale.
Il terzo frame sarà composto dal duplicato del 2D e da 3P, sarà quindi una sorta di “ibrido”.
Allo stesso modo, il quarto frame: 3D - 4P.
Infine, il quinto frame sarà corrispondente a quarto originale: 4D - 4P, in cui 4P è un duplicato.
Per ogni 4 frame originali, ne otteniamo in uscita 5, di cui 2 composti però da field provenienti da frame originali diversi (vedere sotto). Data la veloce alternanza a schermo dei vari field, l’occhio non percepisce l’alternanza dei field diversi che andrebbero a comporre frame misti.

Un’ultimissima nota: in realtà la frequenza reale dei sistemi NTSC non è esattamente 60Hz, bensì 59.94Hz (field/s), ovvero 29.97frame/s. Il puldown 2:3 produce 5 frame in luogo dei 4 originali. 5 frame proiettati ciascuno a 1/29.97s corrisponderebbero a 4 frame a 1/23.976s, quindi non esattamente a 1/24s come è la vera cadenza cinematografica. In sintesi, prima di applicare il pulldown il filmato viene rallentato di 1/1000, per scendere da 1/24 a 1/23.976.

 

[ABAP]

4.1.2 2:2 e 2:2:2:2:2:2:2:2:2:2:2:3 Pulldown

Il metodo 2:2 è generalmente utilizzato nei paesi PAL (o in NTSC in casi più rari di filmati acquisiti a 30fps).
I film per cinema sono acquisiti a 24fps.
Il refresh rate PAL è fissato a 50Hz (50fields attenzione - non frame - al secondo).
Supponiamo per un momento che il film sia acquisito a 25fps.
Se così fosse, la soluzione sembrerebbe ovvia.
Da ognuno dei Frame si otterrebbero due field, quindi 50in tutto (al secondo). Lo schema (riportato di seguito) è ovvio:

In pratica (caso più unico che raro) ad un Frame del film corrisponderebbe esattamente un Frame video. 2:2 indica per l’appunto questo: a 2 frame del formato originale corrispondono esattamente 2 Frame del filmato che viene messo in onda.
Per sfruttare questa evidente semplificazione, spesso i film TV nei paesi PAL vengono effettivamente filmati a 25fps e non 24fps.
Al contrario, il materiale 24fps, viene comunque interlacciato in cadenza 2:2 e successivamente accelerato del 4%, per tornare alla cadenza giusta di 25fps - 50field/s. Il leggero aumento di velocità viene percepito dall’occhio raramente e soltanto in situazioni particolari, mentre all’accelerazione (e conseguente distorsione) dell’audio si ovvia se necessario tramite appositi filtri.

Allo scopo di evitare l'accelerazione video e la conseguente rielaborazione della traccia audio (sebbene sia una operazione tutt'altro che impegnativa dal punto di vista computazionale) su Sky qualche volta viene utilizzano il telecine tipo B (facendo riferimento ai test HQV PAL 1.4) conosciuto anche come 2:2:2:2:2:2:2:2:2:2:2:3 pulldown.
Questo tipo di trasposizione del segnale cinematografico in modalità interlacciata permette di non variare la durata del film (quindi di evitare una ricodifica dell' audio) al prezzo di periodici sganciamenti della cadenza.
In tutta probabilità su Sky utilizzano questa tecnica in assenza di un master realizzato apposta per le TV europee (in pratica è probabilissimo che utilizzino un file ricavato da un BD).
L'adozione di questo tipo particolare di pulldown rende particolarmente difficile, da parte delle TV (ma anche da parte dei processori video più evoluti), il riconoscimento corretto della cadenza e il seguente deinterlacciamento, con conseguente semiquadro interpolato per risoluzione verticale e un microscatto (se capita nel mezzo di una carrellata diviene molto visibile).
Come detto l'audio rimane intatto e non viene accelerato, ma a dire il vero in questo modo è fuori sincro (in modo impercettibile) e si riallinea ogni secondo (cioè ogni 25 fotogrammi).

Se infine si è acquisito a 30fps e si è in NTSC allora non c’è bisogno di alcuna accelerazione.

 

[ABAP]

4.1.3 3:3:2:2 (2:3:3:2 / 2:2:3:3) Pulldown

Giocando sul numero di field raddoppiati o triplicati, si può eliminare dalla sequenza del più classico 2:3 uno dei frame “misti”. Nella figura di seguito si può infatti notare come mentre dal 2:3 si origino 2 frame misti, dal 3:3:2:2 se ne ottenga solamente uno.

Analogo risultato (nel senso di un solo frame misto) si otterrebbe con un pulldown 2:3:3:2 o ancora 2:2:3:3.

 

[ABAP]

4.1.4 Altri Pulldown

Al variare della cadenza del filmato di partenza e di quella che si desidera ottenere, ci sono diversi pulldown possibili, più o meno “esotici”:

• 3:4:4:4 per passare da 16 frame/s (15.985/s effettivi) a NTSC (29.97/s). In pratica ripetendo due volte la frequenza 3:4:4:4, ogni 8 frame originali ne vengono creati 15, secondo lo schema riportato di seguito:
  
  
  
  
  
  
• 3:3:3:3:3:3:3:4 per passare da 16frame/s a PAL (25frame/s) (simile al precedente, omesso per brevità)
• 3:3:4 per passare da 18frame/s (17.892 effettivi) a NTSC. Ogni 3 frame originali ne vengono creati 5, per cui da 18 frame originali se ne ottengono complessivamente 30:
  
  
  
  
  
  
• 3:3 per passare da 20 frame/s (19.980 effettivi) a NTSC. Ogni 2 frame originali ne vengono creati 3, per cui da 20 frame originali se ne ottengono complessivamente 30:
  
  
  
  
  
  
• 3:2:2:2:2 per passare da 27.5 frame/s a NTSC
  
  
  
  
  
  
• 1:2:2:2:2 per passare da 27.5 frame/s a PAL
  
  
  
  
  
  

Infine, ci sono dei pulldown particolari che si appliano a materiale in realtà già progressivo, allo scopo di proiettarlo su mezzi progressivi ovvero TV LCD o plasma.
Attenzione: quanto di seguito vale per i soli Bluray, per essere più precisi per una ipotetica accoppiata “lettore bluray - TV in grado di gestire il 24p”. Il materiale registrato su Bluray è inciso in formato progressivo, per cui se è inviato ad una TV HD in grado di trattare correttamente tale segnale, la TV si setterà in automatico ad una frequenza pari a quella della sorgente o a un suo multiplo esatto, e mostrerà le immagini a video senza alcun processo di deinterlacciamento, perchè sono già in formato progressivo.

• 4:4 per passare da 24frame/s a 96frame/s (ogni frame viene ripetuto 4 volte, al quadruplo della frequenza)
• 5:5 per passare da 24frame/s a 120frame/s (ogni frame viene ripetuto 5 volte, al quintuplo della frequenza)
• 6:4 per passare da 24frame/s a 120frame/s tramite pulldown 3:2 seguito dal un frame ripetuto due volte, al doppio della frequenza

Nota bene: a volte, in modo più o meno volontario, alcune persone “forzano” l’uscita dei loro lettori o HTPC a 50Hz o 60Hz. Così facendo, costringono il lettore ad una elaborazione del filmato (descritta nel seguito), per passare da 24Hz a 50Hz o 60Hz. Come vedremo, il risultato non potrà che essere un filmato scattoso, ben oltre la scattosità tipica del materiale cinematografico. Attenzione, questa è una cosa oggettiva, non discutibile. Si può accorgersene o meno, ma la scattosità aggiunta in questa situazione (forzare il passaggio da 24p a 50p o 60p) c’è, per forza di cose, e di seguito è possibile comprendere il perché.

 

[ABAP]

4.2 II Step: Deinterlacing

4.2.1 Caso A: Proiezione su CRT
Nel caso in cui il materiale interlacciato venga proiettato su CRT, non entra in gioco nessuna ulteriore trasformazione, in quanto come detto sia su un sistema PAL (ad esempio 2:2) che NTSC (2:3) il risultato del telecine è già alla cadenza tipica del sistema.

 

[ABAP]

4.2.2 Proiezione su LCD/PLASMA - Deinterlacing

Nel caso in cui il materiale interlacciato venga proiettato su LCD/Plasma, esso va reso di nuovo progressivo, ovvero deinterlacciato.
L’elettronica “di bordo” deve affrontare un duplice problema: innanzitutto deve “riconoscere” la sequenza di field, ovvero capire quale è la sequenza (cioè che tipo di pulldown è stato applicato alla fonte) e anche quale è il primo field di ogni gruppo di ripetizioni; in secondo luogo, applicare l’algoritmo per la ricostruzione del segnale progressivo.

 

[ABAP]

4.2.2.1 Inverse Telecine

Prendiamo innanzitutto a riferimento il caso di materiale filmico che sia stato interlacciato tramite pulldown 2:3 (telecine).
Per ricostruire correttamente la sequenza originale, il deinterlacer innanzitutto cerca la prima coppia di field (1D-1P) originatasi da un unico frame originale e li ricompone nel frame n. 1.
A questo punto, la sequenza prevede 3 field: 2D-2P-2D. Il terzo field 2D viene scartato e quindi viene creato il frame n. 2 dall’unione 2D-2P. Field 3P e 3D vengono usati per comporre il Frame 3.
Il 4 viene infine ricomposto come il 2.

Alla fine, abbiamo di nuovo 4 frame completi, corrispondenti ai 4 originali (supponendo che il deinterlacer abbia lavorato correttamente, ovviamente).
Ma non dimentichiamo che stiamo “lavorando” a 60Hz, non 24Hz!
Per rispettare la cadenza del filmato interlacciato, il frame 1 viene ripetuto 2 volte, il 2 3 volte, e così via: i 4 frame vengono mostrati a video complessivamente 10 volte, andando a occupare una “spazio temporale” complessivo di 1/60s x 10 = 1/6s. Però il frame 1 rimane a schermo 2 x 1/60s = 1/30s; al contrario il frame 2 rimane a schermo 3 x 1/60s = 1/20s.
Dopo 6 sequenze tutti e 24 saranno stati mostrati, complessivamente per 1s.
L’alternanza 2:3 dei frame a schermo, causa il così detto judder. Se c’è molto movimento (più che altro movimento molto veloce della telecamera o degli oggetti ripresi), quindi molta differenza tra un frame e l’altro, spesso l’occhio non si accorge del diverso tempo di permanenza a schermo dei frame.
Al contrario, nel caso ad esempio di panning molto lenti, il cervello percepisce maggiormente questa scattosità “aggiunta”, che è ben diversa (almeno dal punto di vista dei motivi che ne causano la nascita) dalla scattosità originale tipica del materiale filmico.

 

[ABAP]

4.2.2.2 Altre Tecniche e Algoritmi di Deinterlacing

In generale, le tecniche di deinterlacciamento possono essere suddivise in 3 gruppi:
field combination, field extension, motion compensation.

4.2.2.2.1 Field combination
Sono delle tecniche basate sulla combinazione sequenziale dei field consecutivi, molto semplici nell’applicazione ma generalmente con risultati qualitativi tutt’altro che elevati.

• Weaving E’ la tecnica forse più semplice e consiste nel combinare field consecutivi nello stesso frame. Chiaramente maggiore sarà la differenza tra un field e l’altro (ovvero maggiore sarà il movimento a schermo), maggiore sarà la presenza di artefatti (combing), minore sarà la qualità del frame ottenuto. I contorni delle figure a schermo appaiono tipicamente frastagliati, o jagged in inglese, da cui il termine "jaggies", tipicamente utilizzato per descrivere questo tipo di difetto
  
  
  
  
  
  
  
  
  
  
• Blending Si prendono due field consecutivi, le linee dispari vengono mediate con quelle pari, ottenendo cosi’ un frame in cui le linee riempite sono la metà di quelle teoricamente a disposizione. A questo punto l’immagine viene riscalata verticalmente per coprire tutte le linee. Ne consegue che l’immagine ottenuta è tipicamente molto “morbida”, e la qualità complessiva del frame progressivo ricostruito è tanto minore quanto maggiore è la quantità di movimento del filmato in esame. Il difetto sui bordi che si origina tipicamente con questa tecnica è chiamato "ghosting"
  
  
  
  
  
  
• Selective Blending I frame vengono analizzati per capire quali aree contengano maggiore movimento/cambiamento e necessitino quindi un intervento e quali no. Normalmente fornisce risultati di qualità maggiore rispetto a Weaving e Blending
• Inverse Telecine vedi 4.2.2.1 Inverse Telecine
• Telecide Nel caso in cui il filmato interlacciato sia stato precedentemente ottenuto partendo da materiale progressivo, allora ogni field ha un suo “compagno” ideale, ovvero quello appartenente allo stesso frame da cui entrambi sono stati inzialmente generati. Se questo field esiste, non può che trovarsi nella sequenza immediatamente prima o dopo del field analizzato. Nel caso in cui la ricerca non dovesse dare esito positivo, l’algoritmo è programmato perchè a questo punto intervegano le tecniche più tradizionali, come blending (vedi sopra) o line doubling (vedi sotto).

4.2.2.2.2 Field extension

• Half Sizing Non effettua alcuna elaborazione e si limita a mostrare ciascun frame interlacciato per conto proprio (eliminando le righe vuote). Come nel caso del bleding, l’immagine che ne risulta è “downscalata” verticalmente
  
  
  
  
  
  
• Line Doubling o Bob Deinterlacing Prende ciascun field e ne duplica le linee. L’immagine risultante è praticamente priva di artefatti, ma al tempo stesso verticalmente ha la metà della risoluzione teorica. La risoluzione che si ottiene, sebbene il risultato sia un frame intero, è in realtà pari alla metà della risoluzione del frame originale (o pari a quella dei field che componevano il frame stesso).
  
  
  
  
  
  
  L'applicazione di questo metodo comporta inevitabilmente la comparsa di un difetto tipico, detto "bob" o "bobing": dato che il frame viene ottenuto dalla duplicazione delle linee presenti in un field, se il filmato originale in un determinato frangente ritraeva un oggetto statico, questò apparira come galleggiante in su e in giù. Lo schema riportato di seguito tenta di mostrare un possibile fenomeno di bob deinterlacing. In questo caso non potendo rappresentare il movimento dell'oggetto, l'ho rappresentato fermo e originariamente composto di strisce di colori alternati. Il risultato del "bobing" sarebbe di vederlo "lampeggiare" a schermo con i due colori alternativamente, piuttosto che ondeggiare.
  
  
  
  
  
  

4.2.2.2.3 Motion detection/compensation
Gli algoritmi in grado di fornire i migliori risultati nella ricreazione di un filmato progressivo sono il risultato di una combinazione delle varie tecniche, unite a istruzioni per la ricerca e l’ndividuazione della quantitaà di movimento tra field susseguenti, allo scopo di combinare nel modo migliore tra di loro i field stessi.
In questo caso, cioè quando intervengono tecniche per il riconoscimento del moto, vengono utilizzate anche tecniche per il rilevamento dei cambi scena. Infatti in caso di “stacchi” della telecamera se l’algoritmo non si accorgesse dello stacco potrebbe tentare di rilevare moto tra due sequenze totalmente differenti.​

 

[ABAP]

5. FAQ

::: Che tipo di segnale è contenuto in un Bluray? Di che natura è e con quale cadenza?
La traccia video incisa sul bluray contiene 24 fotogrammi(frame) al secondo, equivalenti a 24field/s "pieni" ovvero senza la distinzione tra filed pari e filed dispari. Il Bluray e' una sorgente già in partenza progressiva; in pratica è (tirandola un po' per le orecchie) la versione digitale della pellicola. Allo stesso modo si puo' dire che la pellicola e' una sorgente nativamente "progressiva" ma analogica. Il lettore BD invia al TV 24fotogrammi/s in formato progressivo. Il TV li mostra a schermo o nel formato originale (24fotogrammi/s) o in multipli pari (72Hz, 96Hz), ovvero prende un fotogramma, lo tiene a schermo non 1/24s ma 4 volte da 1/96s (pulldown 4:4) (questo può variare a seconda del TV e del tipo di tecnologia utilizzato: LCD o PLASMA)


::: Che tipo di segnale viene inviato da Sky al TV attraverso al decoder? Di che natura è e con quale cadenza?
Sky (parliamo di HD) trasmette sempre e comunque 1080i/50Hz. Qui e' meglio parlare di fields pari e dispari. Il flusso di dati e' composto da 50 field (sarebbe meglio dire semi-field) al secondo, dei quali uno contiene solo le righe dispari e l'altro solo le pari. Qui entra in gioco piu' o meno pesantemente l'elettronica del TV, che deve passare dai 50 subfield/s a 25 o 50 frame (o fotogrammi, o field completi) sempre nell'unita' di tempo, a seconda dei casi.

Bisogna a questo punto fare una ulteriore, importante distinzione.

Se il materiale originale e' di tipo televisivo (supponiamo una diretta di un programma su Sky Sport), la trasmissione sara' interlacciata "nativamente", voglio dire che (probabilmente, ora non so se ci sono distinzioni da caso a caso, nel dettaglio) la stessa telecamera che sta riprendendo in quel momento sta acquisendo in modalita' interlacciata. Quindi riprende per 1/50s le linee dispari e per il successivo 1/50s le linee pari, e cosi' invia il tutto. Al TV arriva comunque una informazione incompleta, e lui in qualche modo deve "inventarsi" una meta' del field, perche' comunque da una trasmissione 50i dovra' arrivare ad un 50p. Lo fara' creandodelle informazioni, come descritto nel paragrafo 4.2.2.2 qui sopra. In questo caso particolare, come già evidenziato, entra pesantemente l'elettronica del TV, in relazione alla capacità di capire con quali informazioni riempire le linee mancanti, in modo che la qualità complessiva dell'immagine sia il più alta possibile.
Gli algoritmi di deinterlacing sono più collegati a quelli di frame interpolation di quanto si possa pensare.
Entrambi infatti si rifanno a loro volta agli algoritmi di codifica, basati sui criteri di ridondanza spaziale e temporale (non scordiamoci infatti che la compressione c'è sempre, anche nei bluray).
Un algoritmo di deinterlacing motion adaptive analizza per l'appunto diversi fields, proprio per capire cosa andare a mettere nelle righe pari o dispari che mancano in un determinato field, allo scopo trasformarlo in frame progressivo. Da questo punto di vista avere del materiale 50i può essere quasi un vantaggio. E' chiaro che se il materiale fosse 50p in partenza non ci sarebbe bisogno di deinterlacciare, ma con un 50i (sempre in caso di materiale televisivo) il field successivo è stato ripreso solo 1/50s dopo quello attuale, quindi anche se dimezzata si ha una informazione comunque più "frequente" rispetto a materiale cinematograico, di conseguenza gli algoritmi di FI lavorano meglio.
Quando il deinterlacing non riguarda la ricostruzione di una cadenza cinematografica, allora per forza di cose si sta operando a livello di algoritmi di interpolazione: il processo di scaling, deinterlacing e frame interpolation divengono un tutt' uno. Se c' è anche la frame interpolation entrano in gioco anche filtri di de blur basati su algoritmi derivati dalla Wiener deconvolution e gli aloni (vedi la foto nel link) sono sempre situati in corrispondenza della zona sottoposta a motion blur.

Se il materiale originale era di tipo filmico (supponiamo si stia guardando Sky Cinema), vuol dire che in partenza esso era progressivo. Sky prima di trametterlo via etere lo ha interlacciato come descritto nel par. 4.1.2. Quindi al TV arriva sempre un segnale 50i, composto da 50 semi-field al secondo. In questo caso pero' c'e' la particolarita che, accoppiando correttamente il semi-field dispari con il pari corrispondente, il materiale originale viene ricostruito (deinterlacciato) in modo assolutamente corretto e si riesce a vedere la trasmissione cosi' come Sky l'ha inviata, senza che il TV debba "metterci del suo". Rimane solo una piccolissima differenza rispetto al materiale originale (non quello di Sky, ma proprio al film che magari hai visto in sala) perche' come detto sopra se era stato girato a 24 fotogrammi al secondo sara' stato accelerato di circa il 4% per portarlo alla cadenza giusta. Ovviamente poi ci sono anche differenze qualitative rispetto ai Bluray perche' c'e' anche molta compressione di mezzo, altrimenti non sarebbe possibile inviare il tutto via satellite (o almeno non con la banda che Sky mette a disposizione sui singoli canali )
Ad ogni modo, dai 24 (o 25) fotogrammi (progressivi) al secondo del materiale originale, si torna dopo l'interlacciamento, la trasmissione e il deinterlacciamento, di nuovo ai 24 (o 25) fotogrammi (progressivi).


::: Che tipo di segnale viene inviato dal digitale terrestre al TV attraverso al decoder? Di che natura è e con quale cadenza?
Che si tratti di HD o SD, vale lo stesso identico discorso di Sky.


::: 23.976 o 24? 59.94 o 60?
Partiamo dai dati certi:

• l'acquisizione durante le riprese di un film e' sempre a 24 frame/s.
• almeno inizialmente, nei paese NTSC si trasmetteva a 60 semiquadri/s interlacciati, per adeguare la trasmissione alla frequenza di erogazione dell'energia elettrica di 60Hz. Quando però fu introdotto il colore, si notò un'interferenza tra la sottoportante croma e la portante audio. Per evitare la quale fu deciso di rallentare il framerate dello 0,1%. Rallentando dello 0,1% il 24p ottengo 23.976. Applicando a questo punto un pulldown 2:3 ottengo 59.94.

Di conseguenza tutti i valori (23.976, 24, 59.94, 60) esistono a seconda delle situazioni.
Se parto da materiale 24 e applico pulddown 2:2 arrivo a 48.
Se parto da materiale 24 e applico pulddown 2:2 piu' accelerazione del 4.167% arrivo a 50.
Se parto da materiale 24 e applico pulddown 2:3 arrivo a 60.
Se parto da materiale 23.976 e applico pulddown 2:2 arrivo a 47.952.
Se parto da materiale 23.976 e applico pulddown 2:3 arrivo a 59.94.

 

[ABAP]

6. LOG

• 20.02.2011: Prima pubblicazione
• 25.02.2011: Aggiunta immagine Pulldown 2:2. Aggiunta immagine Pulldown 3:4:4:4. Aggiunta immagine Pulldown 3:3:4. Aggiunta immagine Pulldown 3:3. Aggiunta immagine Pulldown 3:2:2:2:2. Aggiunta immagine Pulldown 1:2:2:2:2.
• 02.03.2011: Aggiornato il par. 4.2.2.2 "Altre Tecniche e Algoritmi di Deinterlacing" ampliando le descrizioni e aggiungendo immagini (fonte: wikipedia)
• 12.02.2012: Aggiornati i link del primo post che non funzionavano più correttamente a seguito della migrazione del forum a vB4.1
• 02.06.2012: Introdotta la sezione FAQ e raccolte le info emerse fino ad ora dal thread. Modificato il par. 4.2 (introdotto il 2:2:2:2:2:2:2:2:2:2:2:3 Pulldown). Aggiunti i ringraziamenti al primo paragrafo

 

[lorenzo82]

Complimenti ABAP,
molto interessante...
Lorenzo.