WindowsでAIプログラミング

動画の被写体を抜き出し、クロマキー合成:Robust High-Resolution Video Matting with Temporal Guidance と Adobe Premire の合わせ技

はじめに

“Robust High-Resolution Video Matting with Temporal Guidance ” を使うと、
動画で被写体のバックをグリーンクロマキーにできます。

オリジナル論文
Robust High-Resolution Video Matting with Temporal Guidance


作成した動画は、バックがグリーンになるので、
Adpbe Premireを使って背景合成ができます。

“Robust High-Resolution Video Matting with Temporal Guidance ” は、
カスタマイズしたものをおいらのGithubに上げてます。

実装

環境

Windows11 pro (Windows Insier Program)
マウスコンピューター製G-Tune E5-144
CPU:インテル(R) Core(TM) i7-10875H プロセッサー
メモリ:32GB メモリ
SSD (M.2):512GB NVMe SSD
グラフィックス:NVIDIA GeForce RTX2060 / 6GB

導入

“git clone”し、フォルダに移動

仮想環境

ライブラリ・モデルのインストール

今回は、CUDA11.3の環境下でおこなっております。
他のCUDA環境の方は、PyTorchのインストールバージョンを変更して実行してください。
参考:PyTorchサイト

実行

変換したい”mp4″ファイルを”input”フォルダに入れ、下記を実行。

python run.py

“input”フォルダに入っているmp4ファイルを網羅的に処理します。
出力は、”output”フォルダに元mp4ファイルごとにフォルダを作成して生成されます。

生成動画は、『com.mp4』、『fgr.mp4』、『pha.mp4』の3つが生成されます。

作成

元の動画

生成動画

Adobe Premioで背景合成

生成された『com.mp4』を『Adobe Premio』で、背景合成(画像)をやってみました。

https://youtu.be/rV6JSXfYvFs

合成方法は、こちらがとてもわかりやすく紹介されてました。

https://btuber.jp/premiere-pro-greenback/

合成方法の設定を変更すれば、半透明人間や影人間みたいに合成することもできます。

さいごに

映像作成もAIプログラミングを活用するといろいろおもしろいことができまふね、(‘ω’)ノ

この記事を書いた人
化学系で博士号を取得したが、 あるとき、これからの時代はプログラミング!、と目覚める。 pythonを用いてデータ解析や機械学習に没頭。 最近は、Pytorchで作ったONNXモデルを、Nuxt3にのせたWebサービスの開発、 ChatGPT や Stable Diffusion に没頭中☆('ω')☆
SNSでフォローする

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA