Odstranění pozadí z videa během sekund

Ne. Klíč potřebuje zelené pozadí, protože oddělí podle barvy, takže mu musí být předána barva, která se v záběru nikde jinde neobjeví. Matování místo toho oddělí podle objektu, což znamená, že funguje na záznamu, který už máte na disku — zeď ložnice, kancelář, ulice — bez čehokoli k nastavení a bez přesvětlení.

WebM obsahující skutečnou alfa rovinu pro cokoli směřující na web, nebo ZIP s průhlednými PNG, jeden na snímek, pro cokoli směřující do editoru. MP4 se záměrně nenabízí jako průhledný export, protože kontejner neumí uložit průhlednost — požadavek na něj by znamenal tiché vyplnění vyčištěné oblasti barvou.

Protože to není jedna úloha, je to stovky úloh. Každý snímek se segmentuje samostatně, takže půl minuty záznamu při 30 snímcích za sekundu znamená devět set samostatných predikcí, plus dekódování a kódování na obou stranách. Jedna fotka položí modelu přesně jednu otázku.

Ne, a architektura je to, co to zaručuje, ne slib v zásadách. Snímky se dekódují, maskují a znovu zakódují přímo v kartě prohlížeče. Jediný síťový požadavek v celém postupu je jednorázové stažení modelu, které se pak uloží do mezipaměti, a probíhá v jednom směru.

Cokoli, co váš prohlížeč už umí dekódovat, což v praxi zahrnuje MP4 a MOV z telefonu nebo fotoaparátu, plus AVI a WebM. Na vstupu není žádný požadavek na průhlednost — celá podstata je, že klip přijde s pozadím a odejde bez něj.

Každý snímek se předpovídá samostatně, takže hranice, u které si model není jistý, přistane o pixel nebo dva jinak od jednoho snímku k druhému, a při rychlosti přehrávání se to projeví jako vlnění. Porovnání každé masky se snímky kolem ní a jejich sladění je oprava, a je to plánovaný krok, ne dodatečný nápad.

Zatím krátké — kolem minuty při 1080p — protože syrové snímky se udržují ve vaší kartě, a ne na stroji, který si pronajímáme. Delší klipy, a chytřejší okno, které snímky streamuje místo jejich udržování, přijdou poté, co se první vydání stabilizuje.