動画の背景を 数秒で除去

不要です。キーイングは色で分離するため、ショット内のどこにも現れない色が必要です。マット処理は代わりに被写体で分離するため、お客様のドライブにすでにある映像 — 寝室の壁、オフィス、通り — に対しても、何かを設定したり再度照明を当てたりせずに動作します。

ウェブに掲載するものには本物のアルファプレーンを持つWebM、編集ソフトに読み込むものには1フレームにつき1枚の透明PNGを含むZIPです。MP4は意図的に透明な書き出しとして提供していません。このコンテナは透明度を保存できないため、要求すると消去した部分が静かに色で塗りつぶされてしまうためです。

それは1つの処理ではなく、数百もの処理だからです。各フレームは個別にセグメンテーションされるため、30fpsの映像30秒分は900回の別々の予測、さらに前後のデコードとエンコードが必要です。1枚の写真は同じモデルに一度だけ質問するのと同じです。

されません。これはポリシー上の約束ではなく、アーキテクチャそのものが保証しています。フレームはブラウザタブ内でデコード、マスク処理、再エンコードされます。全体のフローで唯一のネットワークリクエストは一度だけのモデルダウンロードで、その後キャッシュされ、一方向にのみ移動します。

お使いのブラウザがすでにデコードできるものであれば何でも対応します。実際には、スマホやカメラからのMP4とMOV、さらにAVIとWebMをカバーします。入力時に透明度は不要です — クリップが背景を持った状態で届き、背景がない状態で出ていくことがすべてです。

各フレームは個別に予測されるため、モデルが確信を持てない境界は、フレームごとに1〜2ピクセルずれて配置され、再生速度ではそれがちらつきとして見えます。各マスクを前後のフレームと比較し、一致するように調整するのがその解決策であり、思いつきの対応ではなく計画された改善です。

最初は短く — 1080pで約1分程度です。生のフレームは、レンタルするマシンではなくお客様のタブ内に保持されるためです。より長いクリップ、そしてフレームを保持せずにストリーミングするよりスマートな仕組みは、最初のリリースが安定した後に導入されます。