Video achtergrond verwijderen in seconden

Nee. Een key heeft een green screen nodig omdat hij op kleur scheidt, dus hij moet een kleur krijgen die nergens anders in beeld voorkomt. Matting scheidt op onderwerp, wat betekent dat het werkt op beeldmateriaal dat al op je schijf staat – een slaapkamermuur, een kantoor, een straat – zonder iets op te zetten en zonder opnieuw te belichten.

Een WebM met een echt alfakanaal voor alles wat op het web komt, of een ZIP met transparante PNG's, één per frame, voor alles wat in een videobewerkingsprogramma gaat. Een MP4 wordt bewust niet als transparante export aangeboden, omdat de container geen transparantie kan opslaan – dat zou betekenen dat het vrijgemaakte gebied ongemerkt met een kleur wordt gevuld.

Omdat het geen enkele taak is, maar honderden. Elk frame wordt afzonderlijk gesegmenteerd, dus een halve minuut beeld op 30 fps betekent negenhonderd afzonderlijke voorspellingen, plus decoderen en coderen aan beide kanten. Een enkele foto stelt hetzelfde model precies één vraag.

Nee, en de architectuur garandeert dat, niet een belofte in een beleidstekst. Frames worden in het browsertabblad gedecodeerd, gemaskeerd en opnieuw gecodeerd. Het enige netwerkverzoek in de hele werkwijze is de eenmalige modeldownload, die daarna in de cache blijft en in één richting gaat.

Alles wat je browser al kan decoderen, wat in de praktijk MP4 en MOV van een telefoon of camera dekt, plus AVI en WebM. Transparantie is niet vereist bij de invoer – het hele idee is dat de clip met een achtergrond binnenkomt en zonder vertrekt.

Elk frame wordt onafhankelijk voorspeld, dus een rand waar het model onzeker over is, komt van frame tot frame een of twee pixels anders te liggen, en op afspeelsnelheid ziet dat eruit als flikkering. De oplossing is elk masker vergelijken met de frames ervoor en erna en ze op elkaar afstemmen, en dat is een geplande stap en geen bijzaak.

In het begin kort – ongeveer een minuut 1080p – omdat ruwe frames in je tabblad worden bewaard en niet op een machine die wij huren. Langere clips, en een slimmer venster dat frames doorstroomt in plaats van ze vast te houden, volgen nadat de eerste release stabiel is.