Stable Diffusion WebUI(A1111)の画像生成をもっと効率的に ~ 画像生成AI実験メモ ⑪

Stable Diffusion (AUTOMATIC1111、以後A1111と記載) で画像生成を行っていますが、いろいろな画像を作るためにプロンプトを変えたり、各種パラメータを変えたり。

「こんな画を作りたい」という一点を目標にしてプロンプト/パラメータを追い詰めていく、というのも面白いのですが、「いろいろなパターンの画を作りたい」ということもあります。

例えば、背景を変えたり、姿勢を変えたり、衣装を変えたり。

もちろん、プロンプトを変えれば実現できるんですが、いくつものパターンを、しかも組み合わせで実施するには、ちょっと面倒ではあります。

そういうときに便利な機能をいくつか使ってみたいと思います。

本記事に掲載している人物画像は、すべて生成AIにより作成したものであり、特定の実在人物をモデルにしたものではありません。

Dynamic Prompts で組み合わせを簡単に

Dynamic Prompts は、プロンプトの一部をランダムに切り替えながら画像を生成できる拡張機能とのこと。使用するには導入が必要なので、そこから試してみます。

導入

A1111の「Extensions」タブから「Install from URL」を選びます。

「URL for extension’s git repository」に、

と入力。

その後、「Install」をクリック。

「Installed」タブに、「sd-dynamic-prompts」が表示されていることを確認します。

それから、タブ内にある「Apply and restart UI」ボタンをクリックします。これでUIを再起動して、この機能を起動させます。

その時、Windows上のコマンドプロンプト(A1111の出力内容)を確認しておいてください。

悲運にも、

のようなエラーが出た場合は、一旦A1111を終了し、実行環境のフォルダでこれを入力。

必要なライブラリのインストールです。

もう一つ、

この後、再度A1111を起動します。

動作確認

さっそく、Dynamic Prompts の醍醐味、プロンプトの一部をランダムに変えるところを確認してみましょう。

まずは、超シンプルに、パラメータは初期設定のまま、プロンプトだけ、次のように入力してみました。

Prompt
a Japanese woman wearing a {red|blue|white} dress, standing in a park, realistic photo

モデルは、SDXLのベースモデルの「sd_xl_base_1.0」を使用します。

生成パラメータの「Batch count」を変更。これは1だと違いが判りにくいですからね。ひとまず、4に。

それと、下部に追加された「Dynamic Prompts」を展開し、

Dynamic Prompts enabledをONにします。

ここまでの設定で、何をしたのかというと、
・プロンプトでは、日本人女性の衣装を「赤」「青」「白」で作成
・生成は4枚
・プロンプトの{ }をランダムで作成

という感じでしょうか。

では、生成。

なんか、「Japanese」が変に作用しているのは否めないですが、「青→白→青→赤」とランダムに生成されているのが判ります。

なかなか面白い結果になりました。

LoRAを使って実践編

さっそく、応用してみましょう。

LoRAでキャラクターを指定して、背景を変えてみましょうか。

Prompt
<lora:ai_model_sdxl_b1:0.8>,
photorealistic photograph, a Japanese woman, one woman, solo,
(upper body to thighs:1.1), natural standing pose,
wearing {a white blouse and navy blue skirt|a light blue summer dress|a black jacket and beige trousers},
{standing in a green park with trees|standing inside a modern cafe|standing on a Japanese railway station platform},
{gentle natural smile|calm neutral expression},
looking at the camera, natural skin texture, realistic facial features,
detailed clothing fabric, realistic lighting, sharp focus on the subject,
natural colors, 35mm photography, eye-level view

青色で書いたのが衣装の設定部。{ 白いブラウスと紺色のスカート | 水色のサマードレス | 黒いジャケットとベージュのズボン }の3パターンです。

緑色が背景の設定部。{ 木々のある緑豊かな公園に立っている | モダンなカフェの中に立っている | 日本の鉄道駅のホームに立っている }の3パータンですね。

最後の赤色が表情の設定部。こちらは、{ 穏やかな自然な笑顔 | 落ち着いた表情 }の2パターン。

つまりは、3×3×2の、最大18通りの組み合わせが生じることになります。

パラメータも、
Steps: 30
Sampler: DPM++ 2M
Scheduler: Karras
CFG: 5.5
Seed: -1
Size: 1280×720
としました。

ネガティブプロンプトの方は、想定していないものを排除する汎用的なものですね。

Negative Prompt
anime, manga, cartoon, illustration, painting, drawing, 3d render, cgi, doll, plastic skin,
artificial skin, low quality, worst quality, low resolution, blurry, out of focus,
excessive skin smoothing, bad anatomy, deformed body, distorted face,
extra arms, extra legs, extra fingers, missing fingers, malformed hands, unnatural pose,
duplicate person, multiple people, watermark, text, logo

これで「20枚」生成します。

なるほど。ランダムに組み合わさってますね。

衣装では、
白いブラウスと紺色のスカート:8枚
水色のサマードレス:8枚
黒いジャケットとベージュのズボン:4枚

背景では、
木々のある緑豊かな公園:8枚
モダンなカフェ:7枚
日本の鉄道駅のホーム:5枚

表情では、
穏やかな自然な笑顔:8枚
落ち着いた表情:12枚

となりました。

あくまでもランダムですから、最初の18枚に全パターンが網羅されているものが現れる、ということではない…ですよね。黒いジャケットで駅に立つのは1枚だけですから、網羅では無いはず。

では、網羅させるにはどうすればいいのか、というと、

「Combinatorial generation」をONにします。

今回のように、プロンプト中に複数のパターン設定があった場合でも全網羅する数だけ、生成されます。なので、18枚ですね。

先ほどはBatch countを20枚に設定しましたが、そちらをいくつに設定しても、この下部2値の設定が勝ちます。

Max generationsを0にすると、全網羅する数だけ生成され、最大組み合わせ数以下にすると、その枚数で停止となるようですね。最大数以上に設定しても、全網羅した時点で停止するようです。

Combinatorial batchesは、上記設定を何回繰り返すか、ということですね。Max generationsを0にして、この値を2にすると、18×2回で計36枚生成されるようです。

で、この設定で出力されたのがこちら。

白いブラウスと紺色のスカート × 木々のある緑豊かな公園 × 穏やかな自然な笑顔
白いブラウスと紺色のスカート × 木々のある緑豊かな公園 × 落ち着いた表情
白いブラウスと紺色のスカート × モダンなカフェ× 穏やかな自然な笑顔
白いブラウスと紺色のスカート × モダンなカフェ × 落ち着いた表情
 :
黒いジャケットとベージュのズボン×日本の鉄道駅のホーム×穏やかな自然な笑顔
黒いジャケットとベージュのズボン×日本の鉄道駅のホーム×落ち着いた表情

と、全18パターンが網羅されました。

プロンプトへの出現順{A1,A2,A3},{B1,B2,B3},{C1,C2}なら、
A1×B1×C1、A1×B1×C2、A1×B2×C1、A1×B2×C2、A1×B3×C1、A1×B3×C2、A2×B1×C1、A2×B1×C2…の順ですね。

プログラミングで配列を処理するときの考え方に近いので、理解しやすいかと思います。

気に入らなければプロンプトの順序を変えればOKですね。まぁ、気に入る、気に入らない、は無いと思いますが。。

ファイルからの読み込み

ここまで、プロンプトに直接、パターンを記載しましたが、今後も使用する機会が多そう、ということなら、このパターンをファイル化して使用することも出来ます。

例えば、今回の例では、

clothes.txt

a white blouse and navy blue skirt
a light blue summer dress
a black jacket and beige trousers

location.txt

expression.txt

のようにファイルを作り、

と格納します。

その上で、プロンプトはこのようにします。拡張子を除いたファイル名を、2個続きのアンダーバーで前後を囲みます。

Prompt
<lora:ai_model_sdxl_b1:0.8>,
photorealistic photograph, a Japanese woman, one woman, solo,
(upper body to thighs:1.1), natural standing pose,
wearing __clothes__,
__location__,
__expression__,
looking at the camera, natural skin texture, realistic facial features,
detailed clothing fabric, realistic lighting, sharp focus on the subject,
natural colors, 35mm photography, eye-level view

今度も、確認のために網羅の設定で。

…。

えー。。

衣装の順序が逆になってる??

と思ったら、意外なことが起こっていました。

それぞれのファイル内で、アルファベット順にソートされて使用されるとのこと。

なので、
a white blouse and navy blue skirt
a light blue summer dress
a black jacket and beige trousers

は、

a black jacket and beige trousers
a light blue summer dress
a white blouse and navy blue skirt

の順となって使用される、のだとか。

なので、たまたまですが、背景は3つの順序は変わらず、表情は逆転、と「なんで??」という状況になっていたわけです。

これを抑えるには、「Settings」→「Dynamic Prompts」の設定にある、「Disable sorting of wildcartds before processing.」をONにすれば良いそうです。

これで再度実施。

{ }を使用して書いたときと同じ、記載した順序通りになりましたね。

Prompts from file or textbox で設定も任意に

Dynamic Prompts は名前の通り、プロンプトを任意の文字に設定するものですが…、と書こうとして、この Prompts from file or textbox にも、プロンプトの名称が入っていることに愕然。こちらは、プロンプトだけではなく、Seed、CFG Scale、Stepsなどのパラメータもセットで設定できるというもの。

こちらは、拡張機能の追加は不要で、すぐに使えます。

もっとも、設定するパラメータの用意は必要ですけどね。

では、さっそく。

画面の一番下にある「Script」から「Prompts from file or textbox」を選びます。

Noneのときは選択できるオプションはありませんが、「Prompts from file or textbox」を選ぶと、下にオプション設定画面が広がります。

上の二つはSeed値に関するもので、本体設定側のSeed値をそのまま使うのが「Iterete seed every line」をオフにしたとき。逆にオンにすると、Seed値を +1 しながら設定の各行を処理することになります。

「Use same random seed for all lines」は、本体設定側のSeed値が「-1」のときに便利で、最初にランダムなSeed値が決定したら、その値を使い続ける、というものだそうです。

プロンプト/パラメータの違いが見えやすくなる、ということかと思います。

次の「Insert prompts at the」は「start」が、ここで設定しようとするプロンプトを本体側のプロンプトの「前に」追加するのに対して、「end」は本体プロンプトの「後に」追加するんだそう。

プロンプトは、その記載順(先頭からの位置)によって、影響する強度が変わりますから、「何を振りたいか」でstartかendかを決めれば良さそうですね。たとえば、画像の根幹をなすLoRAを振りたいならstartが合いそうですし、背景や衣装などは、endが良さそうな感じです。

そんなわけで、このような設定にしてみました。
Iterete seed every line:OFF
Use same random seed for all lines:ON(最初のサンプルはSeed値を設定するので、効きません)
Insert prompts at the:end

本体側プロンプトは次のようにしました。ネガティブプロンプトは同じにしています。

Prompt
<lora:ai_model_sdxl_b1:0.8>,
a Japanese woman, solo, one woman, photorealistic photograph, realistic skin texture, natural facial features, detailed eyes, realistic hair texture, natural body proportions, detailed clothing fabric, natural lighting, realistic colors, sharp focus, professional photography

リアルな人物を描きますよ、という設定だけで、どんな構図だとか、ポーズだとか、背景、衣装、表情などは指定していません。

Width / Height は、あえて初期値の1024×1024としています。

で、大事なところ。List of prompt inputs に記載したのがこちらです。

–prompt “close-up portrait, face and shoulders, looking at camera, neutral expression" –width 1024 –height 1024 –cfg_scale 5.0 –seed 123456
–prompt “upper body portrait, sitting at a cafe table, gentle smile" –width 1152 –height 896 –cfg_scale 5.5 –seed 234567
–prompt “full body photograph, standing in a park, casual summer outfit" –width 832 –height 1216 –cfg_scale 6.0 –seed 345678
–prompt “wide shot, sitting on a bench at a Japanese railway station platform, looking into the distance" –width 1280 –height 720 –cfg_scale 5.5 –seed 456789

どのような設定が可能なのか(より違いが判るように)と考えたんですが、私自身使うのが初めてなので、ChatGPTに設定値を考えてもらいました。なので、思ったよりも長く、どこまでが1行なのか判りにくいですが、–prompt から始まる4行分の設定となります。

これの目指すところは、

生成画像描画範囲解像度CFG
1枚目顔アップ1024×10245.0
2枚目上半身1152×8965.5
3枚目全身832×12166.0
4枚目横長の情景1280×7205.5

というもの。

どうなるか、生成してみましょう。

【1枚目】顔アップ

【2枚目】上半身

【3枚目】全身

【4枚目】横長の情景

LoRAの特徴を出しているかは別として、このような、画像サイズすら異なる4枚を、一度の「Generate」で生成できるというのは面白いですよね。

今回は、追加したプロンプトにSeed値を記載していますので、何度実行してもこの4枚が生成されます。

4行に記載した –Seed xxxxxx を削除して、試してみましょう。

…といいたいところですが、せっかくなのでファイルから取得できるというのも同時に。

ファイル名も拡張子も何でもよさげですね。テキストファイルならば。適当に prompt.txtというファイルを作成し、中身をこのようにエディタで作成。

このファイルを、「Upload prompt inputs」にドラッグ(ダイアログからファイル選択も可)。するとすぐに List of prompt inputs に反映されます。それだけ、っちゃぁ、それだけのこと。

何度も使用するならファイル化しておいた方が便利でしょうね。

ランダム1回目

Seed値はいずれも 2124384451

【1枚目】顔アップ

【2枚目】上半身

【3枚目】全身

【4枚目】横長の情景

ランダム2回目

Seed値はいずれも 799506929

【1枚目】顔アップ

【2枚目】上半身

【3枚目】全身

【4枚目】横長の情景

Seed値が1枚目のランダムな値を維持しているのが確認できました。

こういう飛び抜けた設定もできるのがPrompts from file or textboxの醍醐味ではあるんですが、画像ごとにちょこっとした変更を試してみたい、ということにも使えますので、いろいろお楽しみください。

マトリクスパターンといえば X/Y/Z plot

3つ目に紹介するのは、こちらも標準で使用できる「X/Y/Z plot」。プロンプトやパラメータの一部を入れ替えながら画像を生成できるところはこれまで紹介したものと似ていますが、Xだけの1次元、X/Yの2次元、X/Y/Zの3次元でのマトリクス化ができます。

これは、既に何度も使用していて、生成したLoRAから最適なものを選ぶため、10Epochごとに生成したLoRAと、LoRAにかかる重み(Weight)を、マトリクス状の組み合わせにして一度の生成で行うということの紹介をしていました。

この記事の「「X/Y/Z plot」で手軽にパターン化」の項ですね。

なので、ここでは、設定手順などの再掲は省きますが、数値の変化を生成画像の変化で見ることが出来るので、結構重宝してました。

とはいえ、逆に言うと、その使い方しかしてなかったんですね。

どの値を変化させるのか、というtypeは、X、Y、Zともに、非常に多様なものを選択できます。

右端に見えるスクロールバーからも判る通り、まだまだたくさんのパラメータが候補になっています。

今回は、以前から気にはなっていたものの、手付かずだった「Sampler」と「Steps」を振ることでの画像に与える影響を一覧で取得してみたいと思います。

Dynamic Promptsで作成したファイルの一つをベースにして、X/Y/Z plotで展開します。

ですので、プロンプト・ネガティブプロンプト・各種パラメータは既出のものを使用します。ランダムに振っていたパラメータは下記で固定。

Prompt
wearing a black jacket and beige trousers,
standing on a Japanese railway station platform,
gentle natural smile,

Seed値は、ベースにした画像の 4027867987 を使用しました。

X/Y/Z plot としての設定は、

X type:Steps
X values:10, 15, 20, 25, 30, 40
Y type:Sampler
Y values:Euler a, Euler, DPM++ 2M, DPM++ SDE

その他の値はデフォルトのままです。

Stepsのvaluesはテキストボックスへの手入力ですが、Samplerのvaluesは、このように選択できたりするので、typeによっては、簡単に設定できるかと思います。

で、さっそく実行。

Euler a がどう、とか、DPM++ SDE にするとどう変わる、とか、Step数の増加でどんな変化が出てくる、とかは踏み込むと一つの記事なるのでここでは割愛しますが、DPM++ SDE はStep数の違いで構図にも変化が表れやすい、というような特徴が良く出ていると思います。

もちろん、Zも使って次元数を増やすと、それこそ乗数的に生成時間が延びますが、いろいろと試してみると新たな発見があったりして、面白いかもしれません。

というわけで、今回は、いろいろなパターンの画像を、1回の「Genarate」ボタンクリックで生成するための機能を、いくつか紹介してみました。

プロンプトを制限せずに、Seed値のランダム化(-1を設定)で、思いっきり違った構図を楽しむのも良し、ある程度の制限の中でランダムな要素の画像生成を楽しむのも良し、A1111だけでもいろいろ楽しめると、改めて感じました。