Trovato soluzione (almeno per ora)
Al momento ho risolto e mi ritengo soddisfatto, anche se sono obbligato ad attivare una opzione che normalmente non uso.
Da una settimana non ho più nessun problema di handshake (errore di comunicazione) tra tv ed xbox e la risoluzione è sempre perfetta 4K @120Hz.
Praticamente sulla Xbox ho cambiato l"'Impostazione risparmio energia", passando da "Arresto (risparmio energetico) a "Sospensione".
Ho anche riattivato la funzione che la tv si accenda quando accendo l'Xbox.
In questo modo ho risolto anche un problemino che avevo soprattutto in wifi (ma a volte anche via cavo) dove la connessione alla rete risultava ok, ma in pratica non ero connesso (a volte per diversi minuti).