- click per ingrandire -

Nvidia ha sfruttato il palcoscenico offerto dalla Gamescom di Colonia per annunciare l'arrivo del DLSS 3.5, l'ultima evoluzione della tecnologia sviluppata per migliorare le prestazioni nei giochi e ricostruire le immagini partendo da una risoluzione più bassa. I cambiamenti introdotti con la nuova versione del Deep Learning Super Sampling (DLSS) sono sostanziali e fanno compiere un ulteriore balzo in avanti nel rendering affidato all'intelligenza artificiale. La principale novità prende il nome di Ray Reconstruction e come si può intuire già dal nome, va ad incidere sull'utilizzo e sulla resa del ray tracing, la tecnica che calcola il percorso fatto dalla luce nei giochi per ottenere una rappresentazione molto più realistica di tutti i relativi effetti.

COME FUNZIONANO LE TECNOLOGIE PRECEDENTI

- click per ingrandire -

DLSS 3.5 è la risposta alle limitazioni con cui le tecnologie precedenti hanno sempre dovuto fare i conti. I fotogrammi generati all'interno di un videogioco seguono un iter ben preciso: il motore grafico genera prima tutte le geometrie, in parole povere tutti i poligoni e i materiali di cui sono ricoperti. Sulla base delle proprietà fisiche attribuite alle geometrie viene poi calcolato l'aspetto delle stesse e come la luce vi interagisce. Solo dopo tutti questi passaggi viene applicato il ray tracing che deve però scontare un problema legato alle prestazioni: simulare il modo in cui la luce reagisce quando si colpiscono i materiali, all'interno di una scena, non è sostenibile dal punto di vista computazionale se si applica a ogni pixel presente su schermo.

- click per ingrandire -

Per alleviare il peso dei calcoli si procede per approssimazione: si genera una manciata raggi di luce in vari punti della scena per ottenere un campione rappresentativo dell'illuminazione, dei riflessi e delle ombre presenti su schermo. Questa semplificazione porta ad ottenere un'immagine piena di rumore video, punteggiata e con spazi vuoti. Per colmare l'assenza dei pixel mancanti, dove il ray tracing non è presente, si ricorre ad un filtro di riduzione del rumore ottimizzato manualmente. Il filtro sfrutta due metodologie differenti, una temporale e una spaziale. Vengono analizzati vari fotogrammi (approccio temporale) da cui si recuperano le informazioni che servono poi a riempire i pixel mancanti tramite l'interpolazione, fondendo insieme i pixel vicini (approccio spaziale). In questo modo si ottiene un'immagine con ray tracing.

I LIMITI DEI FILTRI PER LA RIDUZIONE DEL RUMORE

- click per ingrandire -

I filtri per la riduzione del rumore che abbiamo descritto sono soggetti a numerose limitazioni ed è proprio per eliminarle che Nvidia ha sviluppato il DLSS 3.5. Anzitutto i filtri sono elaborati manualmente per ogni tipo di illuminazione con ray tracing. Queste operazioni vanno inevitabilmente ad aggiungere complessità allo sviluppo e anche a ridurre il frame rate dei giochi, dato che nei titoli che fanno ampio uso di ray tracing operano simultaneamente più filtri per ottimizzare la qualità dell'immagine, il cui peso ha un impatto negativo sulle prestazioni.

- click per ingrandire -

Anche a livello qualitativo ci sono alcune criticità: l'approccio temporale dei filtri va a riempire i pixel mancanti prelevando le informazioni per ricrearli da più fotogrammi, in modo da aumentare il livello di dettaglio. Il rischio è di introdurre effetti come il ghosting, rimuovere gli effetti dell'illuminazione dinamica e ridurre la qualità degli altri. Anche l'approccio spaziale, che interpola pixel vicini e fonde insieme le rispettive informazioni, può portare a combinazioni troppo dettagliate o a non fonderle a sufficienza, finendo così per creare effetti di luce non uniformi.

- click per ingrandire -

A quanto descritto si aggiunge poi l'azione dell'upscaling, che è l'ultima fase di tutto il processo e che risente proprio dell'azione dei filtri. L'upscaling è necessario perché, sempre per risparmiare risorse, le immagini vengono generate a risoluzione più bassa e poi ricostruite a risoluzione più alta tramite il super sampling con deep learning che dà il nome alla tecnologia. I filtri di riduzione del rumore compromettono l'efficacia dell''upscaling poiché, rimuovendo o diminuendo la qualità degli effetti di luce, finiscono per penalizzare la ricostruzione dell'immagine a risoluzione più alta. A mancare sono soprattutto le informazioni ad alta frequenza, cioè i dettagli più fini.

IL RAY RECONSTRUCTION

- click per ingrandire -

La soluzione per Nvidia è il Ray Reconstruction, un motore di rendering basato sull'intelligenza artificiale che migliora la qualità delle immagini con ray tracing su tutte le GPU GeForce RTX Serie 20, 30 e 40. Non si utilizzano più i filtri per la riduzione del rumore ma reti neurali addestrate per generare pixel di qualità più elevata tra i campioni di raggi. Le reti che costituiscono l'intelligenza artificiale (AI) della tecnologia DLSS 3.5 sono state addestrate con una quantità di dati 5 volte più alta rispetto alla DLSS 3. L'archivio usato per l'addestramento è composto da immagini renderizzate offline, quindi sfruttando una capacità di calcolo molto maggiore di quella che può essere impiegata durante un gioco in tempo reale.

- click per ingrandire -

L'AI sfrutta tutta questa mole di dati per riconoscere i diversi modelli di illuminazione, come l'illuminazione globale o la tecnica nota come "ambient occlusion" (un metodo usato per creare ombreggiature), ricreando le informazioni mancanti in tempo reale, mentre l'utente gioca. Il Ray Recontruction è quindi capace di impiegare meglio i dati temporali e spaziali con l'obiettivo di conservare una maggiore quantità di dettaglio fine (le informazioni ad alta frequenza) e di garantire un upscaling di qualità superiore.

Nvidia ha fornito alcuni esempi pratici: nel gioco "Portal" con RTX, disattivando il DLSS i filtri di riduzione del rumore evidenziano difficoltà con l'interpolazione spaziale, cioè nel fondere i pixel vicini. Si crea così un'immagine caratterizzata da una scarsa pulizia del quadro, che appare come se fosse macchiato e anche gli effetti di luce ne risentono. DLSS 3.5 riesce invece a riconoscere i modelli associati ai riflessi, fondendo i pixel vicini con maggior efficacia e ottenendo perciò un'illuminazione di alta qualità. Anche in "Cyberpunk 2077" i risultati sono simili: senza DLSS si possono notare difetti nell'illuminazione generati da informazioni errate ricavate dall'analisi dei fotogrammi. DLSS 3.5 corregge questi difetti e restituisce un'illuminazione accurata.

Tutte le tecnologie descritte non si applicano solo ai videogiochi: si possono sfruttare anche con applicativi professionali, ad esempio D5 Render, un software usato da architetti e designer. La compatibilità con DLSS 3.5 arriverà il prossimo autunno. DLSS 3.5 può inoltre combinare il Ray Reconstrucion con altre tecnologie introdotte nelle versioni precedenti: ci riferiemo nello specifico a Super Resolution (DLSS 2) e Frame Generation (DLSS 3).

In titoli che facevano uso simultaneamente di vari filtri per la riduzione del rumore video, l'apporto delle tre tecnologie summenzionate aumenta non solo la qualità dell'immagine ma anche le prestazioni. Il motivo è legato all'efficienza del Ray Reconstruction, che rimpiazza tutti i filtri con una singola rete neurale. In giochi come Cyberpunk 2077 si arriva a quintuplicare il numero di fotogrammi al secondo. Nei giochi che invece usano un ray tracing più leggero e meno filtri, la qualità dell'immagine aumenta ma si può pagare un piccolo costo in termini di prestazioni.

LE FUNZIONI SUPPORTATE SU TUTTE LE GPU NVIDIA E I GIOCHI

- click per ingrandire -

DLSS 3.5 sarà disponibile dall'autunno su giochi come "Alan Wake 2", "Cyberpunk 2077", "Cyberpunk 2077: Phantom Liberty", "Portal con RTX" e applicativi come "Chaos Vantage", "D5 Render" e "NVIDIA Omniverse". Non tutte le tecnologie saranno disponibili su ogni famiglia di GPU Nvidia. La compatibilità di base è garantita su RTX 20, RTX 30 e RTX 40 ma con alcune differenze. La più rilevante riguarda il Frame Generation, cioè la possibilità attivare l'interpolazione dei frame, che analizza i fotogrammi contenuti nei giochi per creare nuovi frame e aumentare la fluidità. La possibilità di attivare il Frame Generation con DLSS 3.5 sarà disponibile solo sulle GPU RTX 40.

Fonte: Nvidia