StyleGANのProjectorを使っておでぶなおばけさんを生成するでぶ

でぶばんは！モハランです！

この記事はでぶAdvent Calendar 2022の20日目の記事となります！

　StyleGANは深層学習モデルであり、高解像度の画像を生成できます！すごいでぶね！

　画像の生成例はこちらにてご覧くださいでぶ。1番上に載っている顔画像は生成されたものでぶ。

　StyleGANは潜在変数を入力してるでぶ。潜在変数は生成される画像の種のようなもので、512次元のベクトルとなってるでぶ。出力される画像には1つの潜在変数が対応してるでぶ。

　この潜在変数を変更することで、生成される画像の色、形状、雰囲気、または顔の形などを線形的に変化させることができるでぶ。

　画像が線形的に変化する、というのが分かりづらいと思うでぶが、「潜在変数Aに少し変更を加えた潜在変数Bを用意する。それを用いて生成される画像B'は、潜在変数Aを元に生成した画像A'と比べて少し変化している。」ということでぶ。

　画像A'と画像B'は少量の変数の変化によって、まるっきり違うものにはならないとも言えるでぶ。

　先述の特性を活かした手法として、StyleGANのProjectorというものがあるでぶ！実際に存在する画像を元に、生成しながら似た画像を探索するというものでぶ！

　試しに競プロの顔であるchokudaiさんの顔を、顔画像のデータセットを使用して学習したモデルで探索してみるでぶ。

　以下の動画が探索の様子でぶ。左の画像が元画像、右の画像が生成画像となっているでぶ。

　画像で表すと以下のようになるでぶ。

　特殊な数値指標はどこかで収束するので、結果的にchokudaiさんと似た画像に行き着くでぶ。

　いい笑顔でぶねぇ。

　ここでshojin_debuさんのおばけ画像をProjectorで顔画像探索してみたくなったでぶ！

　一体どんなでぶ画像が生成されるのでしょう？気になって夜も眠れません！早速実験してみましょう！

　では、生成結果と生成過程の動画を載せるでぶ！

　気になる結果は…こちら！！！

　奇妙な紫の帽子、おぼろげな目と、口のような鼻のような…形容しがたいものができましたね。どこか恐ろしいものを感じます。

　生成過程の動画を見てみると分かりますが、ねっとりと紫の帽子が成長していく様子が確認できます。

　結果が気になって夜も眠れないと言いましたが、この生成画像が夢に出てきて眠れなくなってしまいました。いかがでしたか？

moharanの競プロ