NVIDIA Pose Estimation

Dostupná budúcnosť motion trackingu

Motion tracking bol v minulosti otázkou drahej technickej vybavenosti, množstva kamier (niekedy viac ako 36) a hlavne známeho motion suitu plnú bielych bodiek. Posledné roky, príchodom pokročilého strojového učenia, vznikli prvé alternatívne pokusy, ako túto technológiu nahradiť dostupnejšou formou. Strojové učenie bolo schopné rozoznávať pohyb človeka na videu, a následne ku nemu priradiť animačnú kostru, jednoducho použiteľnú v 3D animačných softvéroch. Tento prístup však mal niekoľko múch – pohyb bol nepresný, prekryté časti teľa boli zle interpretované, a predovšetkým vznikal tzv. flickering (z angl. blikanie) postavy. To sa prejavovalo tým, že sa postava, akoby neurčito prešmykovala z miesta na miesto, vytvárajúc nerealistický dojem z animácie.

Tento problém sa pokúsil vyriešiť tým vedcov z firmy NVIDIA a z University of Toronto, ktorý si uvedomili, že ku správnemu vyhodnocovaniu pohybu nestačí len slepo vyhodnocovať pohyb človeka na videu. Techológiu sa preto rozhodli rozšíriť o fyziku, vďaka čomu sa podarilo takmer dokonale odstrániť flickering postavy. Je to vďaka tomu, že je postava pevne ukotvená k zemi použitou fyzikou, a nedochádza tak k jej nepresnému prešmykovaniu na mieste.

Na čo je to dobré?

Ako bolo v úvode spomenuté, motion tracking je v súčasnosti stále finančne náročný na realizáciu. V prípade použitia takejto technológie by sa náklady na tvorbu animácií postáv mohli znížiť na minimum – video zo smatfónu v kombinácii so softvérom s touto technológiou. Vďaka tomu by bol motion tracking prístupnejší pre študentov, jednotlivcov alebo malé štúdiá.

Zdroje videí: https://nv-tlabs.github.io/physics-pose-estimation-project-page/