Yash Thakker
Author

編集者が「クリップから何かを削除する」と言う場合、通常はインペインティングを意味します:オブジェクトを隠して自然なピクセルで補完する手法です。ネットフリックス系の研究者と共同研究者によるVOID(動画オブジェクトとインタラクション削除)は、ピクセルだけでは不十分なケースにまで範囲を広げています:削除されたオブジェクトが他の何かを押したり、遮ったり、方向を変えたりしていた場合、タイムライン全体を変更する必要があるかもしれません(プロジェクトサイト)。
インタビュー、製品撮影、ソーシャル用クリップを磨き上げるBGBlurの読者にとって、VOIDはアカデミックな動画機械学習がどこへ向かっているかを把握する良い概観です:テクスチャだけでなく、単純な物理法則を尊重した反事実的動画です。
以下のMP4は、再生の信頼性を保つためにこのサイト上で /videos/void-demo.mp4 として保存されたものです(GitHubの署名付きURLは期限切れになります)。インタラクションを考慮した除去と比較した滲みのない動作の確認に最適です。
VOIDのサイトと論文(arXiv:2604.02296)によると:
学習は合成データや動きの豊富なペアデータ(KubricとHUMOTOを含む、サイトのページに要約あり)に依存しており、「オブジェクトAを削除する」がインタラクション全体の変更を意味する例をネットワークが学習できるようになっています。
VOIDは動画オブジェクト除去における強力なベースラインと対比して位置づけられています;彼らの資料ではRunway系や文献中のProPainter関連の参照を含む比較が見られます。これらは論文レベルのガイダンスとして利用してください:特定のデータセットとメトリクスを反映しており、すべての実際のシーンに当てはまるわけではありません。
ツールを問わず、クリエイターは同じことを判断しています:時間的整合性、滲みの有無、そして背景の動きが意図的に見えるかどうかです。
BgRemover.video の BgRemover(BGB)は、チームが今日出荷しているクリーンでアーティファクトを考慮した動画オブジェクト・背景除去をすでに提供しています——VOIDがより難しい物理ケースのために構築するベースラインです。
ロードマップ:VOIDをインタラクション対応マスキングと学習シグナルの設計図として扱い、本番環境のSLAに十分対応できる段階になったらBGBに統合していく予定です。BGBlurは映画的な背景ぼかしとプライバシー系エフェクトに特化し続け、BGBは除去機能のホームであり続けます——そのため統合作業はすでにお使いの同じ製品ファミリーを通じて行われます。
オブジェクトを削除し、さらにそのオブジェクトと物理的に連動していた他のオブジェクトの動き方を更新すること——void-model.github.io におけるVOIDの定義に基づきます。
現在公開されているものは研究段階のものです;BgRemoverのような本番ツールが現時点での除去作業における実用的な手段を提供し続けています。