Rimuovi lo Sfondo da un Video in Pochi Secondi

No. Un chroma key richiede un green screen perché separa in base al colore, quindi gli va fornito un colore che non compaia da nessun'altra parte nell'inquadratura. L'elaborazione AI separa invece in base al soggetto, il che significa che funziona già sulle riprese che hai sul disco — una parete della camera, un ufficio, una strada — senza nulla da allestire e nulla da illuminare di nuovo.

Un WebM con un vero canale alpha per qualsiasi cosa destinata al web, oppure uno ZIP di PNG trasparenti, uno per fotogramma, per qualsiasi cosa destinata a un editor. Un MP4 non viene offerto volutamente come esportazione trasparente, perché il contenitore non può memorizzare la trasparenza — richiederne uno significherebbe riempire silenziosamente l'area eliminata con un colore.

Perché non è un solo lavoro, ma centinaia. Ogni fotogramma viene segmentato singolarmente, quindi mezzo minuto di riprese a 30 fps significa novecento previsioni separate, più una decodifica e una codifica prima e dopo. Una singola foto pone la stessa domanda al modello esattamente una volta.

No, ed è l'architettura a garantirlo, non una promessa scritta in un'informativa. I fotogrammi vengono decodificati, mascherati e ricodificati all'interno della scheda del browser. L'unica richiesta di rete in tutto il processo è il download una tantum del modello, che viene poi salvato in cache, e viaggia in una sola direzione.

Qualsiasi formato che il tuo browser sia già in grado di decodificare, il che in pratica comprende MP4 e MOV da telefono o fotocamera, più AVI e WebM. Non è richiesta alcuna trasparenza in ingresso — il punto è proprio che il video arriva con uno sfondo e ne esce senza.

Ogni fotogramma viene previsto in modo indipendente, quindi un bordo su cui il modello è incerto cade un pixel o due in modo diverso da un fotogramma all'altro, e alla velocità di riproduzione questo si legge come un tremolio. La soluzione è confrontare ogni maschera con i fotogrammi vicini e correggerle fino a farle coincidere, ed è un intervento già pianificato e non un ripensamento.

Per ora breve — circa un minuto in 1080p — perché i fotogrammi grezzi vengono mantenuti nella tua scheda e non su una macchina che noleggiamo. Video più lunghi, con una finestra più intelligente che fa scorrere i fotogrammi invece di tenerli tutti in memoria, arriveranno dopo che la prima versione sarà stabile.