Image to Image #1

さて、今回は Image to Image（以後 i2i と書きます）のお話になります。前の記事がまだの方は、下のリンクから、そちらを先に読んでみて下さい。

i2i は既にあるイメージをプロンプトで指定した内容に近づける感じで、その強度を Strength で指定します。Strength を 0 にした場合は、全く書き換えません。Strength を 100 にすると、既にあるイメージは完全に無視します。つまり、Text to Image（以後 t2i と書きます）で、普通に描かせるのと何も変わりません。では、早速実験してみましょう。

Strengthを変えるとどう変わるか

猫から犬

まず、１匹の猫を描かせます。セッティングは次の通り。

項目A cat sitting on the chair	値
Prompt	A cat sitting on the chair
Negative Prompt	<easenegative>(worst quality:2)
Model	MajicMix Rialistic v7 (8-bit)
LoRA	Disabled
Control	Disabled
Strength	100%
Seed	-1(New seed on generation)
Image Size	512×512
Steps	16
Text Guidance	4.5
Sampler	DPM++ 2M AYS
Shift	1.0
Batch Size	1

何枚か描かせて、いい感じの猫を描きました。

これを、i2i していきます。

プロンプトの cat を dog に変えて、strength を 10%~100% まで 10% 刻みで変化させてみました。シード値はランダムなので、潜在空間で変化させるベクトルは若干違うかも。

30%の所で、もう既に犬ですよね。そして、60%~70%の所では jpeg ノイズのようなものが乗ってきました。そして、100%で全く前の絵を無視しています。（が、似たような色のソファーが描かれてる・・・。たまたまかな？）

猫から女性

では、さっきの猫を、次のプロンプトで人間に変化させてみます。

A Japanese girl wearing swim suit, sitting on the chair

流石に今回は、潜在空間でもどうしたらいいか分からずに、30%程度ではほぼ変化は見られませんね。60%で脱皮して、80%ではもう原画は無視されています。

ポイントは、一旦絵を「潜在空間」に落とし込んで、変化させ、画像に戻すので、単純に視覚的な中間ではなく、「潜在空間」における中間を返すのです。そして、その「潜在空間」にどれだけ深く潜るのかというのを決めるのが Strength ということになるのです。この辺は色々経験していくうちに Strength はどのくらいが良いかなというのが分かって来るのかなと思います。そして、現実ではありえない絵を出力してくる。ここがAIの面白いところでもあり、厄介なところでもあります。

リアル写真の i2i

ではリアル写真を i2i してみます。元になる写真は、ぱくたその「茜さや」さんの次の写真をお借りしてきました。ちょっと手錠をされて、悲しい感じの表情です。

これを笑顔にできないかという発想です。

上記画像をイメージレイヤーに放り込んで、プロンプトを次のようにします。

A smiling Japanese girl

元々の画像が正方形じゃ無いので、保存するときは、Save visible region… > Save to files… を使うと、正方形で見えているエリアだけが保存されます。

今度は人から人なので、潜在空間の浅いところでもう反応してきます。というか、10%で目標達成です。その後は、Japanese というワードから日本らしさをガンガン追加してきます。50%辺りからはモデルのカラーが出まくってきて、このモデルはこんな絵を描きたいんだ！というのが見えてきますね。

10%で表情変化は達成してしまったので、試しに、1%,2%,5%で刻んでみました。

これだけ強烈に書き換えようとしてくれるわけです。

最後に

いかがでしたか？潜在空間での変化について、何となくイメージが掴めたでしょうか？

AIに指示を出す時に、潜在空間でどう変化させるのか。Strength の値は大体このぐらいかな？というのが分かるようになると、時短になります。

ちなみに、最後の茜さんの画像はデフォルトでサイズが大きかったので、DrawThings のキャンバスに乗せて、書き換えてまた出力した時に、1067×1067 なのですが、AIは 512×512 で描くので、絵がシャープにはならないです。このことは、また後で詳しく書こうと思ってます。

次の記事はこちら