2024年4月14日
WindowsでAIプログラミング
動画の被写体を抜き出し、クロマキー合成：Robust High-Resolution Video Matting with Temporal Guidance と Adobe Premire の合わせ技
はじめに
“Robust High-Resolution Video Matting with Temporal Guidance ” を使うと、
動画で被写体のバックをグリーンクロマキーにできます。
オリジナル論文
Robust High-Resolution Video Matting with Temporal Guidance
作成した動画は、バックがグリーンになるので、
Adpbe Premireを使って背景合成ができます。
“Robust High-Resolution Video Matting with Temporal Guidance ” は、
カスタマイズしたものをおいらのGithubに上げてます。
実装
環境
Windows11 pro (Windows Insier Program)
マウスコンピューター製G-Tune E5-144
CPU：インテル(R) Core(TM) i7-10875H プロセッサー
メモリ：32GB メモリ
SSD (M.2)：512GB NVMe SSD
グラフィックス：NVIDIA GeForce RTX2060 / 6GB
導入
“git clone”し、フォルダに移動
|
1 |
git clone https://github.com/supplepentan/penta-robustvideomatting |
仮想環境
|
1 2 3 |
pyenv local 3.8.6 python -m venv venv venv/scripts/activate |
ライブラリ・モデルのインストール
|
1 2 3 |
python -m pip install -r requirements.txt python -m pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html python setup.py |
今回は、CUDA11.3の環境下でおこなっております。
他のCUDA環境の方は、PyTorchのインストールバージョンを変更して実行してください。
参考：PyTorchサイト
実行
変換したい”mp4″ファイルを”input”フォルダに入れ、下記を実行。
python run.py
“input”フォルダに入っているmp4ファイルを網羅的に処理します。
出力は、”output”フォルダに元mp4ファイルごとにフォルダを作成して生成されます。
生成動画は、『com.mp4』、『fgr.mp4』、『pha.mp4』の3つが生成されます。
作成
元の動画
Adobe Premioで背景合成
生成された『com.mp4』を『Adobe Premio』で、背景合成（画像）をやってみました。
合成方法は、こちらがとてもわかりやすく紹介されてました。
合成方法の設定を変更すれば、半透明人間や影人間みたいに合成することもできます。
さいごに
映像作成もAIプログラミングを活用するといろいろおもしろいことができまふね、(‘ω’)ノ
化学系で博士号を取得したが、
あるとき、これからの時代はプログラミング！、と目覚める。
pythonを用いてデータ解析や機械学習に没頭。
最近は、Pytorchで作ったONNXモデルを、Nuxt3にのせたWebサービスの開発、
ChatGPT や Stable Diffusion に没頭中☆('ω')☆
SNSでフォローする
関連記事
