Fooocus 2.1.0で追加されたImage Promptを試してみる

こんにちは。今回は、最新という訳ではないのですが、Fooocusの面白い機能を紹介します。

相変わらず、Midjourneyは利用したことがないのですが、Midjourneyでは重要な機能の一つである「Image Prompts」をFooocus 2.1.0 にて実装したとのこと。面白そうなので、早速試してみました。

はじめに

Fooocus 2.1.0 で Image Prompt という機能が公式にリリースされていました。いつものように Fooocusの公式リポジトリのDiscussionsを確認したところ、

Fooocus 2.1.0 Image Prompts (Midjourney Image Prompts) #557

に以下の記載がありました。（公式サイトの日本語訳(google翻訳)です）

今回も、詳しい説明は置いておいて、早速公式サイトの記載通りにImage Promptを試してみようと思います。

また、私のFooocusは起動するたびに最新化するオプションのまままので、2023年11月28日時点で2.1.824(最新)になっています。

Image Prompt

Fooocusを起動（リアリスティックモード）すると、画面の左下に、次のようなチェックボックスがあることを確認できます。

Input Imageの左をチェック☑すると次のような画面が表示されます。

Image Promptタブを開くと次のような画面が表示されます。

例：テキストプロンプトのない単一画像

プロンプトには何も指定せずに、パラメータもすべてデフォルトの状態です。

(オリジナルの画像を利用しました）

これだけだとよくわからないですね…

例：単一の画像プロンプトとテキストプロンプト

次は、犬の画像に対して「猫(cat)」をプロンプトに入力してみます。

(犬の画像は以前Stable Diffusion web UIで作成したものです)

背景や色使い、ポーズなどがそのままで「猫」の画像ができあがりました！

例：テキストプロンプトのない複数の画像

(上海のマグレブとStable Diffusion web UIで作成した女の子です)

電車と女の子の合成はわからなくはないですが、マグレブが車になるとは…

また、モデルやパラメータを調整すればもっと素敵な画像ができる気がします。デフォルトのモデルだとみんな「欧米人」風になりますね。

例：テキストプロンプトと複数のスタイルを含む複数の画像

(Fooocusで本家を真似して作成した画像です)

黄色のタコロボットが強すぎたのでしょうか…また富士山が反映されませんでした。

Fooocus 画像プロンプト(上級)

下のAdvancedをチェック☑すると次のような画面が表示されます。

本家の説明を転記します。(google翻訳)

PyraCanny : ピラミッドベースの Canny エッジ コントロール。その理由は、SDXL では 1024 ピクセルの画像が使用されており、標準の Canny ではそのような高解像度では画像の細部が時々欠けてしまう傾向があるためです。この方法では、複数の解像度を使用してキャニー エッジを検出し、それらをソフトに結合するため、(キャニーよりも) 多くの構造がキャプチャされます。ピラミッド部分は、「エッジ描画: リアルタイムのエッジとセグメント検出器を組み合わせたもの」からのものです。使用時には350MBのコントロールモデルをダウンロードすることになります。

CPDS : 「Contrast Preserving Decolorization (CPD)」による構造抽出アルゴリズム。「CPDS」とはCPD構造を意味します。制御モデルは Fooocus チームによって変更され、SAI の深度制御 lora から始まります。この方法を使用する理由は、プリプロセッサの速度が速く、ダウンロードが不要であるためです。画像の構造部分のみを使用しており、実際の「脱色」ではないことに注意してください。使用時には350MBのコントロールモデルをダウンロードすることになります。

まとめ

今回は、Fooocusの機能「Image Prompt」をご紹介しました。

お気に入りの画像でテキストにするのが難しい場合に、直接画像をプロンプト代わりにできるので、画像作成の幅が広がりますね。

モデルやスタイルの調整によって、もっと素敵な画像ができると思います。

Fooocusを使ってみたいという方は、以下の記事を参考にしてください。

Fooocusを使えば、ロースペック環境でも問題なく最新のSDXL1.0ベースのモデルを動作させることができますので、ぜひ活用してみてください。

Stable Diffusionをはじめ、様々なAIが常に進化していますので、チェックしながら最新にトライしてみてください。

きっとあなたにぴったりのAIが見つかると思います。