アップスケール

前回は i2i による高画質化をしましたが、今回は写真を超高画質化するアップスケーラーを使ってみます。

前回の記事を読んでない方はこちらから先に読んでおいて下さい。

アップスケーラーの紹介

前回描いた画像は Image Size 1024×1536 でしたが（それより小さいサイズの場合もあるかと思いますが）、アップスケーラーを使うとそれを更に2倍もしくは4倍に拡大できます。例えば、1024×1536 の画像を4倍に拡大すると、4096×6144（4K） のピクセルサイズになります。普通は拡大すると、ぼやけるのですが、そこを機械学習したモデルでシャープに補完するのが、アップスケーラーです。DrawThings では次のアップスケーラーを使うことが出来ますので、早速それぞれの特徴を見ていきましょう。

アップスケールする画像は、講座の初回に描いた Image Size 512×512 のこの画像を使ってみます。

Real-ESRGAN X2+

このモデルだけ、アップスケーラーの中で唯一2倍に拡大するモデルです。

どう変わったかを比較するために、スライダーで見てみましょう。アップスケールされた画像に合わせて、元画像は単純に2倍に拡大した画像を使っています。

スライダーで比較すると、しっかり高精細化されているのが分かります。

Real-ESRGAN X4+

このモデル以降は4倍に拡大します。つまり、画像サイズは 2048×2048 になります。スライダーで比較するために、1024×1024 にリサイズして元画像とスライダー比較してみます。

Real-ESRGAN X2+ と Real-ESRGAN X4+ を比較してみます。

どっちが良いかは意見が別れるかもしれません。肌や歯のシャープさはX4の方が優れていますが、髪の毛はX4では逆に不自然になっているようにも見えます。

Real-ESRGAN X4+ Anime

4X+ よりもメリハリがついてしまっています。このモデルは、Anime とついてるので、リアル画像のアップスケールには向かないですね。

UniversalUpscaler V2 Sharp

高精細化はするのですが、ちょっとノイズが乗ってくる感じもしますね。私は使わないかも。

Remacri

写真のアップスケールにも使われるモデルのようで、髪の毛は一番自然に見えます。

4x UltraSharp

パキッと輪郭をくっきり出してくれるアップスケーラーですね。

いかがでしょうか、アップスケーラーにはそれぞれ特徴があることが分かります。私は超解像度だと重たくなるし容量も食うので、Real-ESRGAN X2+ を愛用しています。 

アップスケーラーの使用方法

アップスケーラーを使うためには、アップスケーラーのモデルをダウンロードする必要があるのですが、Settings の Advanced の所にある、Upscaler のプルダウンメニューから、今回は Real-ESRGAN X2+ を選択してダウンロードして下さい。

ダウンロードが終わったら、右下の履歴からアップスケールしたい画像を選択します。ここでは、前回描いた画像( Image Size 1024×1536 )を選択しました。

選択したら、Scripts をタップします、すると Scripts の中にそのアップスケーラーを用いてアップスケールする Presets が準備されます。さっきまでなかった Upscale with Real-ES…があると思うので、その隣の▷アイコンをタップもしくはクリックします。

これで、アップスケールされます。DrawThings のウィンドウではもう確認しにくいので、アップスケーラーを通す前と通した後の画像を出力してスライダー比較してみます。例によって、アップスケールした画像は比較のために大きさを半分にリサイズしています。

他のアップスケーラーも、ダウンロードすれば Scripts の所に出てくるので使えるようになります。

実際の写真のアップスケール

では、また茜さやさんにご協力頂いて、アップスケールしてみたいと思います。

ぱくたそから、茜さやさんの最高解像度の写真をお借りして、顔だけトリミングした画像を、Remacri でアップスケールしてみました。

アップスケーラーすごいね！スライダーで比較できるから効果がわかりやすい。

アップスケーラーの注意点

このアップスケーラーは、Settings のメニューであることからも分かる通り、ONにしておけば、常に作画するたびにアップスケールします。つまり、作画時間が増えることになるので、基本的にはONにしないようにしましょう。アップスケールしたい時だけ、Scripts から走らせる。というのが正しい使い方になります。

アンチエイリアス

アップスケールした画像はピクセルサイズもファイルサイズも巨大になります。そこで、画像編集ソフトで縮小することでアンチエイリアスがかかり、より自然な感じになりますので、見た目が良くなります。

気に入った画像が描けたら、Remacri で4倍にアップスケールし、それを1/2に縮小すると作品としては最も良い状態で保存できるのではないかと考えているのですが、この辺は色々意見の分かれるところなんじゃないかなと思います。

また、フォトショップ等のフォトレタッチソフトを用いて、画像を加工して、よりリアリティを上げる手法もあると思います。

ここまでの総まとめ

基本的な作画フローは次の通りになります。

いかがでしたでしょうか。

アップスケーラーは、有料のアプリもありますが、DrawThings を使えば、無料で画像のアップスケールが出来ます。それ目的で DrawThings を使うというのもアリでは無いでしょうか。

次の記事は、note に書きました。