Gaussian Splatting: Budúcnosť 3D na webe

Pri brázdení webu je ťažké nevšimnúť si medzi iným, trend využitia 3D. Čím realistickejšie, rozpohybovanejšie a interaktívnejšie, tým lepšie. O pozornosť užívateľov súbojí rada landing pagov s pre-rendrovanými videami, interaktívnych 3D prvkov alebo aj komplexných 3D zážitkov pohlcujúcich všetok obsah stránky. Tvorba týchto prvkov má však mnoho úskalí. 3D ako také je totiž fundamentálne náročné na výkon zariadenia a úložisko, čo sú akurát jednými z najväčších limitácií webu ako média. Dizajnéri a developeri tak musia narábať s kompromismi ako napríklad linearita prerendrovaného 3D, alebo nízky polycount a low-res textúry pri real-time 3D. Avšak séria nedávno publikovaných vedeckých článkov otvára dvere úplne novému princípu.

Neural Radiance Fields

3D-skenovanie za pomoci fotogametrie tu už nejakú tu dobu je. Aj keď ide o užitočný nástroj, jej výstup rozhodne nieje direktne využiteľný vo webovom rozhraní, keďže vygenerovaná geometria je high-poly a a často obsahuje non-manifold polygony. Nový prístup k zaznamenaniu priestoru prinášajú Neural Radiance Fields, skratkou NeRF. Ide o deep-learningovú metódu, ktorá priestor vníma pomocou bodov v priestore, ktoré následne využíva na vygenerovanie hustoty, farby, a priehladnosti priestoru. Oproti fotogametrii je výsledný súbor menší a omnoho kvaltinejší.

Gaussian Splatting

Neural Radiance Fields samy o sebe web nedobijú. Na priemernom počítači je ich fps veľmi vzdialené pojmu ’real time’. Avšak nový spôsob ich rendrovania, tzv. Gaussian Splatting, výslednú kvalitu scény zvyšuje ešte vyššie. Najmä však drasticky zvyšuje fps (1080p s +- 100fps). Prakticky to teda znamená že sa do rozhrania web stránky dá umiestniť hyper-realistická scéna, s dynamickou kamerou a dokonca aj s funkčnými odleskami. Implementácia a rozvoj tejto technológie napreduje relatívne rýchlo, a už dnes má tento formát napríklad prirodzenú podporu 3D nástrojom Spline, alebo Polycam. Popis projektu, príklady, alebo aj demo scény si viete pozrieť na https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/