Standardele HDR si locul acestora in universul formatelor UHD

Pentru a intelege formatele HDR amintim cateva din notiunile si conceptele care stau la baza tehnologiior cu denumirea de High Dynamic Range.

Desi standardele HDR au inceput sa se contureze incepand cu anul 2015, exista inca o lipsa de intelegere a aspectelor tehnice si a influentei lor asupra experientei de vizualizare.

HDR face parte din colectia de tehnologii UHD, fiecare componenta din aceasta colectie aducand contributia sa la o experienta de vizionare imersiva:
- rezolutiile UHD:  UHD- 0 (3840x2160 25/30p), UHD- 1 (3840x2160 50/60p), UHD- 2 (7680x4320 50/60p)
- gama dinamica marita (High Dynamic Range) si definirea curbelor de contrast care vor fi utilizate de catre diferitele tipuri de formate HDR (reglementate prin standardul ITU R. BT2100)
- colorimetria extinsa - WCG (Wide Color Gamut)
- semnal audio imersiv (Dolby AC-4, DTS-UHD, MPEG-H Audio)
- standarde precis definite pentru implementarea HDR: SL-HDR1 (standard propus in anul 2017 de catre Technicolor pentru ATSC 3.0), SL-HDR2 (Perceptual Quantization, 2018, din care au rezultat formatele HDR si HDR10+), SL-HDR3 (Hybrid Log Gamma, 2020, din care a rezultat formatul HLG).
Formatul Dolby Vision este un caz particular intrucat inglobeaza profile din PQ (Perceptual Quantization), SDR (Standard Dynamic Range) si HLG. Este un format utilizat in domeniul productiei video (si nu are aplicabilitate in industria de broadcast).
- valori mari ale ratei de explorare pe verticala (High Frame Rate, cu valori de 100 sau 120 de cadre pe secunda)
- cuantizarea semnalelor video pe 10 sau 12 biti (High Bit Depth)
- Content Aware Encoding - in cazul semnalelor compresate, ajustare a calitatii  de encodare in functie de tipul de content. Content Aware Encoding poate fi aplicat pentru tehnologii de encodare precum JPEG XS.

Gama dinamica a semnalului achizitionat de camera video a crescut odata cu progresele tehnologice.
In mod traditional, gama dinamica standard (SDR = Standard Dynamic Range) se definea in valori de amplitudine a semnalului video - de la nivelul de negru pana la nivelul de alb - si a fost bazata zeci de ani pe tehnologia de functionare si caracteristicile electro-optice ale tubului cinescop.
Odata cu aparitia HDR, s-a decis ca gama dinamica sa fie exprimata in intensitate luminoasa. Unitatea de masura NIT (1 NIT = 1cd/m²) este utilizata pentru masurarea intensitatii luminoase.
Astfel:
- intensitatea luminoasa a unui televizor cu tub cinescop (CRT) era de 100 NITI, corespunzand gamei dinamice SDR
- monitoarele OLED actuale au o  intensitatea luminoasa de 600-700 NITI
- monitoarele moderne cu ecran QLED ating cu usurinta valori de 1000-1500 NITI
- la ora actuala nu exista monitoare comerciale care sa depaseasca valori de stralucire de cateva mii de NITI

Cea mai mare si mai frecventa confuzie legata de HDR este ca acesta face ca intreaga imagine sa aiba stralucire ridicata. Scopul HDR nu este sa genereze imagini cu stralucire care sa fie deranjanta in majoritatea conditiilor de vizualizare, ci sa asigure o rezerva de gama dinamica care sa permita redarea naturala a detaliilor de imagine cu stralucire ridicata cum ar fi reflexiile de pe suprafete metalice, portiuni de nori iluminate de catre soare, foc, explozii, picaturi de ploaie reflectate in iluminatul stradal, filamente de lampi cu incandescenta, etc. In acelasi timp HDR evidentiaza si detaliile aflate in zonele intunecate ale imaginii (care in SDR ar fi pierdute in vecinatatea nivelului de negru).

Pentru celelalte elemente din imagine se utilizeaza in mare parte valori medii de stralucire utilizate frecvent in SDR. Desigur ca tehnicianul de Color Grading sau directorul de productie are libertatea de a folosi ce nivele de stralucire doreste, insa marind artificial si exagerat valoarea medie a stralucirii unei imagini va face ca experienta de vizualizare sa fie necorespunzatoare (spectatorii asociind ceea ce vizualizeaza cu o imagine de slaba calitate).
In concluzie, rolul HDR este sa imbunatateasca gama dinamica utilizata in SDR astfel incat mai multe detalii sa poata fi redate in zonele foarte luminoase si foarte intunecate ale imaginii, acolo unde SDR limiteaza grosier sau atenueaza foarte mult detaliile imaginii din cauza dinamicii sale reduse. Per total, HDR incearca sa se apropie cat mai mult posibil de vederea naturala umana.

Stabilirea parametrilor graficii sunt diferiti fata de un content SDR, de aceea trebuie luati in considerare urmartorii factori:
- gama dinamica marita a HDR
- cum va arata grafica, in special cand se decide ce nivel de alb va fi utilizat in grafica (in SDR exista un singur nivel de alb, in HDR un alb prea stralucitor va fi deranjant pentru ochi)
- cum va arata grafica atunci cand se face Down-conversie la SDR (la capatul lantului de transmisie receptoarele TV fiind inca in majoritate de tip SDR)

Fluxul de lucru HDR incepe cu scena iluminata (care urmeaza a fi captata de catre camera video) si se termina cu afisarea imaginii de catre monitor:

Parametri utilizati in fluxurile de lucru:
OETF = caracteristica de transfer "optic-la-electric". Camera transforma imaginea optica intr-un semnal electric utilizand un algoritm care foloseste o curba de transfer neliniara
EOTF = caracteristica de transfer "electric-la-optic".  Monitorul transforma semnalul electric in imaginea afisata pe display utilizand algoritmul invers (dar nu neaparat identic) al curbei de transfer neliniare
OOTF = caracteristica de transfer "optic-la-optic".  Este caracteristica de transfer globala a intregului lant (flux de lucru HDR)

Conceptul  "Scene Referred" (sau "Scene-Light") defineste procedura de lucru utilizata de la inceputurile televiziunii pana in zilele noastre. Aceasta procedura se bazeaza pe presupunerea ca nu avem nici un control asupra televizoarelor telespectatorilor, de aceea trebuie furnizata o imagine care sa arate la fel pe o gama cat mai mare de ecrane de afisare. Imaginile sunt calibrate in etapa de achizitie (camera video) utilizand un monitor de referinta in studio si se considera ca acea imagine va fi cea mai buna imagine pe care telespectatorii o pot vizualiza. In topologia "Scene Referred" reglajele artistice ale imaginii (evidentierea de detalii in zonele intunecate sau foarte luminoase ale imaginii) se efectueaza in etapa de achizitie a imaginii de catre camera video, inainte de aplicarea curbei de transfer OOTF (conform diagramei din dreapta).

Conceptul  "Display Referred" (sau "Display-Light") defineste o procedura de lucru care isi are originea in productiile cinematografice. Acesta procedura asigura mentinerea viziunii artistice asupra imaginii indiferent de tipul de ecran sau monitor video utilizat. Ca exemplu, presupunem ca un film a fost editat utilizand un monitor de referinta cu straluctirea maxima de 1000 cd/m2, dar va fi vizionat atat pe televizoare cu stralucirea de 500 cd/m2, cat si pe pe televizoare cu stralucirea de 2000 cd/m2. Directorul artistic doreste ca fetele actorilor sa aiba o valoare precisa de stralucire de 70 cd/m2, iar acesta valoare sa fie identica pentru ambele tipuri de televizoare. Este de la sine inteles ca in aceasta topologie,  pentru a afisa o valoare precisa de stralucire pentru anumite elemente de imagine, valoarea medie a stralucirii imaginii nu poate fi modificata de catre utilizator. In topologia "Display Referred" reglajele artistice ale imaginii (evidentierea de detalii in zonele intunecate sau foarte luminoase ale imaginii) se efectueaza dupa aplicarea curbei de transfer OOTF, respectiv inainte de afisarea imaginii de catre display (conform diagramei din dreapta). Pentru a putea transmite intentia artistica, formatele HDR care utilizeaza procedura "Display Referred" trebuie sa transmita pe langa imagine si informatii de tip metadata care sa contina valorile medii de stralucire ale intregului cadru si valorea maxima de stralucire a fiecarui pixel.

- formate HDR bazate pe cuantizarea perceptuala - Perceptual Quantization (PQ) din care fac parte HDR10, HDR10+, Dolby Vision. Aceste formate se utilizeaza in general in aplicatii de post-productie video si film.
Standardele cu cuantizare perceptuala sunt standarde absolute, in care fiecare nivel de luminanta este reprezentat exact intr-o valoare cuantizata pe 10 biti sau 12 biti. Valoarea maxima de stralucire utilizabila este de 10000 NITI.
In figura de mai jos este prezentata curba neliniara PQ pentru nivele de luminanta de pana la 10000 NITI si cuantizare pe 10 biti:

- formate HDR bazate pe caracteristici neliniare hibride cum ar fi  Hybrid Log Gamma (HLG) dezvoltat de catre companiile de broadcast BBC si NHK.  HLG se utilizeaza in special in aplicatii live precum televiziunea liniara traditionala.
Formatul HLG utilizeaza o curba neliniara hibrida compusa dintr-o curba gamma (care coincide cu cea a standardului SDR pana la valori de 60% a valorii maxime de luminanta) continuata cu o curba logaritmica care compreseaza eficient nivelele mari de stralucire. 

Datorita utilizarii aceleiasi curbe gamma pana la valori de 60% a valoriii maxime de luminanta, HLG- HDR este invers compatibil cu SDR, astfel ca televizoarele care nu suporta HDR pot reproduce (in masura gamei lor dinamice) continut HDR.

Standardul S-Log3 (sau alte standarde Log similare dezvoltate de catre alti producatori de camere video) este utilizat de multi ani de zile in productie si post-productie. Nu este in sine un format HDR, ci o modalitate de a transpune gama dinamica extinsa a camerelor video din cinematografie intr-un format utilizabil in televiziune.

Evolutia tehnologica a permis ca senzorii camerelor video moderne sa egaleze si chiar sa depaseasca capabilitatile filmului cinematografic. Curba neliniara S-log permite inregistrarea si transmiterea a cat mai multa informatie de la senzor (cuantizata tipic pe 14 biti) care permite captarea tuturor delaliitor in zonele foarte intunecate si foarte luminoase ale imaginii.  Provocarea consta in felul in care poate fi utilizata aceasta gama dinamica marita in aplicatiile video de broadcast care utilizeaza semnale video SDI traditional cuantizate pe 10 biti.

Intrucat informatia pe 14 biti nu poate fi trunchiata la 10 biti (ar aparea distorsiuni ale imaginii sub forma artefactului de "Banding"), se utilizeaza o curba logaritmica care converteste semnalul cuantizat pe 14 biti in semnal pe 10 biti. Ca beneficiu secundar, detaliile din zonele foarte intunecate si foarte luminoase ale imaginii sunt eficient compresate astfel ca aceste detalii ale imaginii originale sa poata fi recuperate in timpul operatiilor de editare si Grading.

*Banding-ul este un artefact vizual care apare in zone extinse ale imaginii unde ar trebui sa existe un gradient uniform. Un exemplu comparativ este prezentat in imaginile din dreapta. Efectul de banding este cu atat mai observabil cu cat cuantizarea imaginii la achizitie se face pe mai putin biti.

In tabelul de mai jos este prezentata o sinteza a parametrilor si aplicabilitatii standardelor HDR si relatia lor cu gama dinamica standard SDR:

Criteriu	SDR	Perceptual Quantization HDR (HDR10, HDR10+, Dolby Vision)	Hybrid Log-Gamma HDR (HLG)
Mediu de vizualizare	Mediu de vizualizare cu iluminare ambianta variabila	Mediu de vizualizare cu iluminare ambianta strict controlata (Home Theater)	Mediu de vizualizare cu iluminare ambianta variabila
Aplicabilitate	Broadcast, televiziune, live video	Vizionare filme, video streaming	Broadcast, televiziune, live video
Valori de stralucire	- valoare stralucire maxima : 100 NITI (limitata de tehnologia tubului cinescop)	- valoare maxima de stralucire a unui pixel: 10000 NITI - valoarea medie a stralucirii imaginii si valoarea maxima de stralucire a fiecarui pixel este precis stabilita	- valoare maxima de stralucire a unui pixel: 5000 NITI
Scene Referred/Display Referred	- utilizeaza conceptul "Scene Referred" - format care se bazeaza pe valori relative de luminanta - stralucirea medie a imaginii poate fi modificata in functie de iluminarea ambianta	- utilizeaza conceptul "Display Referred" - format care se bazeaza pe valori absolute de luminanta (valoarea medie a stralucirii imaginii si valorile maxime de stralucire ale fiecarui pixel stabilite foarte exact prin transmiterea de metadata) - vizualizare numai in conditii stricte de iluminare ambianta (scazuta), nu poate fi modificata stralucirea imaginii de catre utilizator	- utilizeaza conceptul "Scene Referred" - format care se bazeaza pe valori relative de luminanta; datorita acestui fapt nu necesita utilizare de metadata - stralucirea medie a imaginii monitorului poate fi modificata in functie de iluminarea ambianta - compatibil cu SDR, astfel ca televizoarele care nu suporta HDR pot reproduce continut HDR (in limitele intervalului disponibil in gama dinamica SDR)
Cuantizare	8 biti	10 biti sau 12 biti	10 biti sau 12 biti
Curbe utilizate	Gamma, coeficient 2.4	Curba PQ	Curba hibrida (Log - Gamma)
In diagrama sunt ilustrate curbele PQ si HLG pentru un material HDR masterizat la o valoare maxima de stralucire de 1000 NITI. Semnal cuantizat pe 10 biti (axa verticala) functie de stralucire (axa orizontala): - curba HLG coincide cu gamma SDR pana la valoarea de 100 NITI, de aceea contentul HDR-HLG este reprodus bine de catre monitoarele non-HDR - curba PQ este mult diferita de SDR, de aceea contentul HDR-PQ va aparea "spalacit", mai luminos si lipsit de contrast pe monitoarele non-HDR
Vizualizare pe monitoare non-HDR	Monitoarele SDR afiseaza corespunzator imaginile SDR.	Vizualizare de calitate slaba (imagine spalacita si lipsita de contrast)	Vizualizare de calitate buna. Cu cat monitarul SDR are o capabilitate mai mare de a reda stralucirea, cu atat va putea reda mai multe nivele de stralucire corespunzatoare HDR.
Redarea continutului pe monitoare HDR cu capabilitati diferite de stralucire maxima	Nu se aplica.	- daca contentul HDR-PQ a fost masterizat spre exemplu la 2000 NITI, iar televizorul poate afisa valori de stralucire de 2000 NITI, atunci afisarea este reala (True Display), imaginea este afisata asa cum a fost creata initial - daca contentul HDR-PQ a fost masterizat spre exemplu la 2000 NITI, iar televizorul nu poate afisa valori de stralucire mai mari de de 1000 NITI, atunci televizorul trebuie sa poata mapa  gama dinamica originala de 2000 NITI in gama sa disponibila de 1000 de NITI, proces cunoscut sub denumirea de Tone Mapping. Acest proces de mapare este posibil prin utilizarea metadatei transmise de catre formatele PQ. Tone Mapping este o consecinta a faptului ca formatele PQ lucreaza cu valori absolute ale stralucirii.	- formatul HLG nu foloseste Tone Mapping (si nici metadata) - monitorul HDR incearca sa afiseze cat mai multe nivele HDR (in limita gamei sale dinamice), chiar daca capabilitatile sale de stralucire maxima sunt inferioare contentului masterizat.

Intrucat exista o legatura foarte stransa intre formatele HDR si spatiul colorimetric, nu se poate discuta despre conversie HDR fara a lua in calcul o conversie de spatiu colorimetric.
Intr-o exprimare simplista, nu se poate configura o conversie HDR intr-un echipament fara a utiliza/selecta si parametrii de colorimetrie.

Colorimetria si definirea spatiilor colorimetrice se bazazeaza pe diagrama CIE realizata in anul 1931 de catre comisia CIE (International Commission on Illumination).
Spatiul colorimetric este o marime tridimensionala reprezentata sub forma unui cub (numit si Color Volume) care contine toate culorile pe care le poate reproduce un dispozitiv de captare (camera video) sau un dispozitiv de afisare (monitor video).
Spatiul colorimetric tridimensional este specificat cu precizie de catre valorile culorilor primare si valoarea luminantei.

In cele doua figuri de mai jos se observa spatiul colorimetric extins utilizat de formatele HDR (in conformitate cu standardul ITU-R BT.2020) si spatiul colorimetric al formatului SDR (in conformitate cu standardul ITU-R BT.709).
Diagrama triunghiulata plata (numita si diagrama CIE, figura din dreapta) este o sectiune diagonala prin spatiul tridimensional al cubului avand ca efect secundar inlaturarea componentei de luminanta (figura din stanga)

Indiferent de metoda utilizata, se intampla simultan doua procese: conversia gamei dinamice si conversia colorimetrica.

Prima metoda se bazeaza pe prelucrari in domeniul liniar (Linear Domain) in care valorile de luminanta si crominanta (culoare) sunt tratate direct proportional cu valoarea lor.
- pentru conversia de la HDR la SDR aceasta inseamna maparea unei game dinamice mari intr-o gama dinamica restransa si conversia dintr-un spatiu colorimetric extins intr-un spatiu colorimetric restrans
- pentru conversia de la SDR la HDR aceasta inseamna maparea unei game dinamice restranse intr-o gama dinamica extinsa si expandarea spatiului colorimetric restrans intr-un spatiu colorimetric extins.

A doua metoda se bazeaza pe conversia utilizand fisiere 3D LUT. Aceasta metoda are avantajul ca se poate "impune din exterior" intentia artistica asupra modului in care se face conversia gamei dinamice (pentru vizualizarea detaliilor din zonele foarte luminoase si foarte intunecate ale imaginii) si a felului in care se face expandarea de la un spatiu colorimetric la altul pentru a obtine o anumita paleta coloristica ("Look") a imaginii, mai ales in cazul productiilor video si de film.

Din punct de vedere cronologic, prelucrarile pe baza de fisiere 3D LUT au aparut cu mult inaintea formatelor HDR.
Prin definitie, fisierele LUT (Look-Up Table) permit transformarea valorilor RGB de intrare in valori diferite RGB de iesire.
Exista 2 tipuri de fisiere LUT:
- fisiere 1D LUT care se aplica pentru transformarea de la intrare la iesire a unei singure culori primare
- fisiere 3D LUT care se aplica pentru manipularea completa a spatiului colorimetric tridimensional (culori primare + luminanta) care se aplica si in cazul conversiilor HDR. 

LUT-urile au doua directii de aplicabilitate: LUT-uri tehnice si LUT-uri artistice.
LUT-uri care au ca scop prelucrari tehnice - exemple:
- LUT-uri care convertesc curba neliniara de contrast a imaginii (spre exemplu din S-Log 3 la alt format: liniar, Rec.709/SDR, etc)
- LUT-uri de conversie intre spatii colorimetrice diferite
- LUT-uri care convertesc temperatura de culoare a imaginii
- LUT-uri de conversie intre semnale "Full Range" si "Video Range".
Compania de broadcast BBC a dezvoltat inca din 2017 o colectie de LUT-uri tehnice pentru conversii intre diverse formate HDR si formatul SDR. Fiindca dezvoltarea lor a ajuns la maturitate, BBC pune la dispoziție cea mai recenta versiune a tabelelor LUT sub o licenta gratuita, atat pentru companiile de productie, cat si pentru producatori.

LUT-uri care au ca scop prelucrari artistice - exemple:
- LUT-uri utilizate in etapa de Color Grading pentru a obtine o anumita paleta coloristica (un anumit "Look" al productiei video respective), in special in cinematografie
- LUT-uri utilizate pentru a face mai naturala culoarea pielii

Pentru conversiile HDR, intentia artistica vizeaza urmatoarele aspecte:
- ce este de facut atunci cand contentul HDR este in afara gamei dinamice a SDR ? Multe productii fac decizii artistice in felul in care gradeaza zonele de imagine luminoase, intunecate si colorimetria. Daca acest lucru este facut corect, imaginea down-convertia la SDR va arata mai bine datorita faptului ca a fost produsa nativ in HDR
- cum trebuie expandat semnalul SDR ca sa arate "mai bine" in HDR ? 

- pentru semnalele SDI, continutul HDR este semnalizat in identificatorul Video Payload, mai precis valorile bit-ului 4 si bit-ului 5 din componenta octetilor 2 si 3 (Byte 2 si Byte 3):

- pentru semnalele video IP necompresate SMPTE ST 2110, HDR este nativ reprezentat in metadata inclusa in esentele stream-urilor de Ancillary (conform standardului SMPTE ST2110-40). Semnalele 2110 sunt agnostice la formatul video si sunt gandite de la inceput sa suporte noi tehnologii.

Exista doua metode de implementare, insa numai una dintre ele are aplicabilitate practica si are cele mai multe avantaje, atat din punct de vedere operational cat si economic.

Modelul fluxului de lucru dual HDR-SDR Acest model presupune existenta a doua fluxuri de lucru paralele si identice (de la achizitia imaginii si pana la distributie), unul HDR si altul SDR. Implementarea unui flux de lucru dual nu este practica din urmatoarele motive: - genereaza un cosmar logistic si nu este un model economic - in partea de achizitie a imaginii sunt necesari cameramani cu cunostinte temeinice pentru filmarile cu camere SDR si HDR astfel incat productiile sa fie consecvente in obtinerea aceluiasi "Look" - complexitate in etapele de procesare unde trebuie sa existe blocuri identice pentru SDR si HDR - mixer video cu cai duale pentru semnale HDR, respectiv SDR - playout-ul si inregistrarea vor trebui facute separat in SDR si HDR - monitorizarea pe multiviewer-e trebuie facuta separat pentru content SDR si HDR - partea finala a fluxului de lucru (distributia) trebuie facuta separat pentru SDR si HDR

Modelul fluxului de lucru unificat HDR Acest model presupune existenta unui singur flux de lucru de tip HDR cu conversii la capetele lantului (achizitie, respectiv distributie). Implementarea unui flux de lucru unificat HDR este calea de urmat din urmatoarele motive: - are cele mai multe avantaje, atat din punct de vedere operational cat si economic - simplitate in etapele de procesare ale fluxului de lucru, procesarea in interiorul lantului fiind numai HDR - mixer video numai HDR - playout-ul si inregistrarea materialelor se face numai in HDR - orice camera sau sursa de content (de la intrarea lantului), daca nu este nativa HDR, este convertita la HDR (se utilizeaza standardul HDR-HLG pentru aplicatii de televiziune) - monitorizare pe un singur sistem de multiviewer unificat care afiseaza nativ atat surse HDR cat si SDR - la capatul lantului unde se face distributia, se efectuezaza conversiile intre standarde HDR si/sau conversie de la HDR la SDR, conform necesitatilor fluxului de lucru (HDR-PQ pentru mediul online, HDR-HLG sau SDR pentru televiziune)

- ITU R. BT.2100 (Rec. 2100) - descrie gama dinamica marita (High Dynamic Range) si defineste curbele de contrast (caracteristicile de transfer neliniare) care vor fi utilizate de catre diferitele tipuri de formate HDR, atat cele care utilizeaza cuantizarea perceptuala (PQ), cat si a celor care utilizeaza caracteristici neliniare hibride (HLG).  In afara de rezolutiile UHD-1 (3840x2160), UHD-2 (7680x4320), Rec.2100 permite existenta semnalelor de rezolutie HD 1080p cu HDR (PQ sau HLG).
- SMPTE ST 2084 - defineste caracteristica de transfer electro-optica a display-urilor utilizate in masterizare si a domeniunui de valori de stralucire utilizabile in standardele HDR-PQ (valoare maxima de stralucire de 10000 niti).
- ITU R. BT.2020 (Rec. 2020) - defineste spatiul colorimetric extins utilizat in standardele HDR.
- ITU-R BT.2408 - descrie practici operationale in productiile de televiziune HDR

Pentru implementarea conversiilor HDR atat pentru semnale SDI cat si IP SMPTE ST 2110 furnizam procesorul Selenio SNP de la Imagine Communications.