ローカル環境で楽しむ画像生成AIまとめ ～ Stable Diffusion・LoRA・SDXL
これまで、Stable Diffusion をローカルPCで動かす環境を構築して、プロンプトによる画像生成、kohya_ss を使ったLoRA作成、SDXLでのLoRA作成や、いくつかの実験メモを作成してきました。
このページは、これらのテーマをまとめたものとなります。
これから Stable Diffusion を始める方は第1回から、すでに環境がある方は興味のある記事からご覧ください。
Stable Diffusionローカル環境構築からLoRA作成までの流れ
6回にわたり、Stable Diffusion の環境構築からLoRA作成までを行ったテーマ記事となります。
第1回：Stable Diffusion の環境を作る
https://try-widely.com/stable-diffusion_1/Stable Diffusion WebUI AUTOMATIC1111をローカルPCで動かすための環境構築の記事となります。
SD1.5系モデルを前提として、インストールから起動確認までを扱っています。
第2回：Stable Diffusion でプロンプトを操る
LoRAを使わず、プロンプトだけで日本人女性らしい画像を生成するために試した内容です。
SD1.5でのプロンプトの効き方や、生成結果の傾向を確認しています。
第3回：kohya_ss でLoRAを作成する
kohya_ssを使って、SD1.5向けのLoRA作成を試した記事となります。
kohya_ssの導入方法、学習素材の準備、設定、学習結果の確認までを扱っています。
第4回：最適なLoRAを求めて
LoRAで生成した画像が、どの程度学習素材に影響されるのか、その確認方法と、学習素材の構図に引っ張られる問題を解決しようと奮闘した記事です。
LoRA作成後に「なぜ同じような画像ばかり出るのか」と感じた方向けの検証です。
第5回：使えるLoRAを作り出す
学習素材の偏りによって、顔の角度が固定されやすい、という問題を解決しようとした記事です。
LoRA作成時の素材選びや、生成結果の見方を整理し、SD1.5版LoRAでの一旦の着地とした内容となります。
第6回：SDXLでのLoRA作成
SD1.5ではなく、自由度が高いとされるSDXLを使ってLoRA作成を試した記事です。
SDXLモデルの取得、SD1.5との違い、学習時の注意点などを扱っています。
画像生成AI 実験メモ
画像生成AIに関する「気になったこと」を単発で取り上げる記事となります。
実験メモ ①：1枚の生成画像からSDXLのLoRA作成
生成AIで作成した架空人物画像1枚だけを学習素材にして、SDXLのLoRAを作成する実験です。
実在人物の再現ではなく、生成画像だからこそ成立しやすい架空キャラクターの再現性を確認しています。
実験メモ ②：SDXLのプロンプトだけで画像を生成
LoRAを使わず、SDXLのプロンプトだけで目的に近い画像を生成できるかを試した実験です。
SD1.5との違いや、SDXLでのプロンプトの効き方を確認しています。
目的別に読む
Stable DiffusionをローカルPCで動かしたい
→ 第1回：Stable Diffusion の環境を作る
AUTOMATIC1111の導入、SD1.5モデルの取得、起動確認までを扱っています。
SDXLのモデル取得は、こちらに記載しています。
→ 第6回：SDXLでのLoRA作成
プロンプトだけで画像生成したい
→ 第2回：Stable Diffusion でプロンプトを操る（SD1.5編）
→ 実験メモ②：SDXLのプロンプトだけで画像を生成（SDXL編）
LoRAを使わず、プロンプトだけでどこまで目的に近い画像を生成できるか試しています。
LoRAを作成したい
→ 第3回：kohya_ss でLoRAを作成する（SD1.5編）
→ 第6回：SDXLでのLoRA作成（SDXL編）
kohya_ssを使ったLoRA作成について、SD1.5とSDXLそれぞれで試しています。
SDXLでは、使用するモデルや画像サイズ、学習時の注意点がSD1.5とは異なります。
LoRAの生成結果が学習素材に引っ張られる理由を知りたい
→ 第4回：最適なLoRAを求めて
→ 第5回：使えるLoRAを作り出す
LoRAで生成した画像が、学習素材の構図や角度に影響される問題を検証しています。
1枚の生成画像でLoRAを作るとどうなるか知りたい
→ 実験メモ①：1枚の生成画像からSDXLのLoRA作成
生成AIで作成した架空人物画像1枚だけを素材にした発展実験です。
本記事が扱う画像について
本ブログで使用している人物画像は、全て生成AIで作成した架空人物の画像です。
実在人物の写真や、本人の同意が確認できない画像をLoRA学習に使用することは想定していません。
実験メモ①では、生成AIで作成した架空人物画像のみを使用しています。実在する人物の写真や、本人の同意が確認できない画像を学習素材として使用する内容は扱っていません。
最後に
Stable Diffusionをローカル環境で動かしてみると、環境構築、モデルの選択、プロンプトの工夫、LoRA作成、SDXLでの違いなど、試してみたいことが次々に出てきます。
このページでは、そうした試行錯誤を記事ごとに追いやすいように、環境構築からLoRA作成、SDXLでの検証、実験メモまでをまとめています。
今後も、実際に試して分かったことや、気になった点を実験メモとして随時追加していきたいと考えています。
新しい記事を公開した際は、このページにも追記していきますので、ローカル環境で画像生成AIを楽しむための入口として活用していただければと思います。