“Robust High-Resolution Video Matting with Temporal Guidance ” を使うと、
動画で被写体のバックをグリーンクロマキーにできます。
オリジナル論文
Robust High-Resolution Video Matting with Temporal Guidance
作成した動画は、バックがグリーンになるので、
Adpbe Premireを使って背景合成ができます。
“Robust High-Resolution Video Matting with Temporal Guidance ” は、
カスタマイズしたものをおいらのGithubに上げてます。
Windows11 pro (Windows Insier Program)
マウスコンピューター製G-Tune E5-144
CPU:インテル(R) Core(TM) i7-10875H プロセッサー
メモリ:32GB メモリ
SSD (M.2):512GB NVMe SSD
グラフィックス:NVIDIA GeForce RTX2060 / 6GB
1 |
git clone https://github.com/supplepentan/penta-robustvideomatting |
1 2 3 |
pyenv local 3.8.6 python -m venv venv venv/scripts/activate |
1 2 3 |
python -m pip install -r requirements.txt python -m pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html python setup.py |
今回は、CUDA11.3の環境下でおこなっております。
他のCUDA環境の方は、PyTorchのインストールバージョンを変更して実行してください。
参考:PyTorchサイト
変換したい”mp4″ファイルを”input”フォルダに入れ、下記を実行。
python run.py
“input”フォルダに入っているmp4ファイルを網羅的に処理します。
出力は、”output”フォルダに元mp4ファイルごとにフォルダを作成して生成されます。
生成動画は、『com.mp4』、『fgr.mp4』、『pha.mp4』の3つが生成されます。
元の動画
生成された『com.mp4』を『Adobe Premio』で、背景合成(画像)をやってみました。
合成方法は、こちらがとてもわかりやすく紹介されてました。
合成方法の設定を変更すれば、半透明人間や影人間みたいに合成することもできます。
映像作成もAIプログラミングを活用するといろいろおもしろいことができまふね、(‘ω’)ノ