Stylized Neural Painting：実装方法

2021年2月27日プログラミング

1 はじめに
2 PC環境
3 実装方法
4 おいらのオリジナル

はじめに

画像から油絵、カーカーペン画、水彩画、テープアートが描けます。

参考：https://jiupinjia.github.io/neuralpainter/

PC環境

Windows10 pro (Windows Insier Program)
マウスコンピューター製G-Tune E5-144
CPU：インテル(R) Core(TM) i7-10875H プロセッサー
( 8コア / 16スレッド / 2.30GHz [ 最大5.10GHz ] / 16MBキャッシュ )
メモリ：32GB メモリ [ 16GB×2 ( PC4-21300 / DDR4-2666 ) / デュアルチャネル ]
SSD (M.2)：512GB NVMe SSD ( SAMSUNG PM981a / M.2 PCIe Gen3 x4 接続 )
グラフィックス：NVIDIA GeForce RTX2060 / 6GB

実装方法

Gitクローン

git clone https://github.com/jiupinjia/stylized-neural-painting

1	git clone https://github.com/jiupinjia/stylized-neural-painting

カレントディレクトリの移動

cd stylized-neural-paintin

1	cd stylized-neural-paintin

仮想環境

仮想環境の作成

python -m venv venv

1	python -m venv venv

アクティベイト

venv/scripts/activate

1	venv/scripts/activate

モジュールのインストール

『pip』と『setuptools』のアップデート

python -m pip install -U pip setuptools

1	python -m pip install -U pip setuptools

requirements.txtよりインストール

python -m pip install -r requirements.txt

1	python -m pip install -r requirements.txt

『Pytorch』の入れ替え

※必須ではありません。CPU版Pytorchでも動くみたいです。

『Pytorch』のアンインストール

python -m pip uninstall torch torchvision

1	python -m pip uninstall torch torchvision

『Pytorch（CUDA10.1対応）』のインストール

python -m pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html

1	python -m pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html

学習済みモデルのダウンロード

下記のURLからモデルをダウンロード・解凍し、
解凍フォルダごと（checkpoints_G_oilpaintbrush）
フォルダ（stylized-neural-paintin）に、コピーしてください。

oil-paint brush：https://drive.google.com/file/d/1sqWhgBKqaBJggl2A8sD1bLSq2_B1ScMG/view
watercolor ink：https://drive.google.com/file/d/19Yrj15v9kHvWzkK9o_GSZtvQaJPmcRYQ/view
marker pen：https://drive.google.com/file/d/1XsjncjlSdQh2dbZ3X1qf1M8pDc8GLbNy/view
color tapes：https://drive.google.com/file/d/162ykmRX8TBGVRnJIof8NeqN7cuwwuzIF/view

軽量版もあります

oil-paint brush (lightweight)：https://drive.google.com/file/d/1kcXsx2nDF3b3ryYOwm3BjmfwET9lfFht/view
watercolor ink (lightweight)：https://drive.google.com/file/d/1FoclmDOL6d1UT12-aCDwYMcXQKSK6IWA/view
marker pen (lightweight)：https://drive.google.com/file/d/1pP99btR2XV3GtDHFXd8klpdQRSc0prLx/view
color tapes (lightweight)：https://drive.google.com/file/d/1aHyc9ukObmCeaecs8o-a6p-SCjeKlvVZ/view

実行コマンド

python demo_prog.py --img_path ./test_images/apple.jpg --canvas_color 'white' --max_m_strokes 500 --max_divide 5 --renderer oilpaintbrush --renderer_checkpoint_dir checkpoints_G_oilpaintbrush --net_G zou-fusion-net

1	python demo_prog.py --img_path ./test_images/apple.jpg --canvas_color 'white' --max_m_strokes 500 --max_divide 5 --renderer oilpaintbrush --renderer_checkpoint_dir checkpoints_G_oilpaintbrush --net_G zou-fusion-net

（りんごの画像から生成するコマンド。これ以外にもデモコマンドが実装されています。）

結果

下記の様なウィンドウが新しく立ち上がります。

『G_pred』は、リアルタイムに映像が見れます。

『output』フォルダに『apple_input.png』、『apple_final.png』、
『apple_animated.mp4』と連番の『apple_rendered_stroke_****.png』のファイルが生成されます。

『apple_input.png』

『apple_final.png』

『apple_animated.mp4』

https://www.youtube.com/watch?v=6LVnBAplXMo

おいらのオリジナル

この記事を書いた人

さぷりぺんたん

化学系で博士号を取得したが、あるとき、これからの時代はプログラミング！、と目覚める。 pythonを用いてデータ解析や機械学習に没頭。最近は、Pytorchで作ったONNXモデルを、Nuxt3にのせたWebサービスの開発、 ChatGPT や Stable Diffusion に没頭中☆('ω')☆

SNSでフォローする