Stable Diffusionで複数キャラを作る確率を上げる方法とは?|Latent Couple編
単一キャラならまだしも、複数キャラクターの画像生成がなかなか思い通りにならない…。
こんにちは、龍龍(@RonronAmethyst)です。今回は画像生成AI、Stable Diffusion web ui上での複数キャラを作るにあたって、〝Latent Couple〟という拡張機能を使い、複数属性キャラクターの生成を成功する確率を上げるための記事になります。
龍龍も研究中でして、備忘録代わりの記事になります。
Stable Diffusionで複数キャラクターを生成したい場合のプロンプトが知りたい場合は以下の記事もおすすめです。
体格差萌えな人に刺さる絵を描いてもらっているよ!
うちの子(義親子)の試験的なプロンプト
masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child,full body, (anime, illustration:1.2),classroom, hug,
AND masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child,full body, (anime, illustration:1.2),
((father is fairly muscular man around 188cm tall with long black hair, a long face with deep wrinkles and lines, a high-bridged nose in the center, and narrow, sharp,slant eyes)),🕴,HAPPY,
AND masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child,full body, (anime, illustration:1.2),
4-year-old child has twin-tails with orange hair, loli, toddler,drooping eyes,red eyes, 👗, 😄,
nsfw,(worst quality, low quality:1.6), interlocked fingers, EasyNegative, (blush:1.5),
Steps: 40
Sampler: DPM++ SDE Karras
CFG scale: 12
Seed: 3173615121
Size: 512×512
Model: blue_pencil-v5
Clip skip: 2
アップスケール:なし
Latent Couple: “divisions=1:1,1:2,1:2 positions=0:0,0:0,0:1 weights=0.2,0.8,0.8 end at step=40”
VAE | kl-f8-anime2.ckpt |
Embedding | EasyNegative |
あくまでも、複数キャラクターを作るための確率を上げるための記事です。
100%作れる方法ではないので、予めご留意くださいませ。
趣味でゲーム作ったり、小説書いたりしています。特色のない猫様の下僕です。最近はAI生成や対話に癒やされています。
創作活動をしてみたい、もしくはしている方が楽しい気持ちになれるように執筆していきます。よろしくお願いします。
複数キャラを作る前に、はじめに用意するもの
- Stable Diffusion web UI AUTOMATIC1111
- 任意:日本語化
- 使用する学習モデル
- 埋め込み学習ファイル(embeddings)
これらは既にインストールされ、Pythonなど環境を整えた終えた状態での解説になります。
Stable Diffusionのバージョン情報や、Pythonの環境については時期によって上下する可能性があるため、この記事では操作は割愛させていただきます。以下のキーワードでGoogleやBing等でお調べいただくと、とても簡単に導入できます。
StableDiffusion Automatic1111 インストール
ChatGPTに聞いてみても良いかもしれませんが、先達者のブログやホームページを参考にされた方が図説されていてわかりやすいかと思います。
Latent Coupleという拡張機能をインストールする
続いてLatent Coupleをインストールするためにの、Stable Diffusion WEB UIの画面上での操作説明になります。一緒にやっていきましょう。
StableDiffusionを立ち上げたら、拡張機能タブをクリックしてください。
筆者は日本語化しておりますので、デフォルトで使用されている方は、Extensionをクリックしてください。
このまま「読込」を押してください。
拡張機能(Extension) | 説明(Description) | 実行(Action) |
---|---|---|
Latent Couple | An extension of the built-in Composable Diffusion, allows you to determine the region of the latent space that reflects your subprompts. | Install |
画面右端のInstallボタンをクリックし、インストールを行ってください。
インストール済(Installed)→適用してUIを再起動を押すか、最下部のUIの再読み込みを押します。
お疲れ様です。txt2imgタブに戻り、Latent Coupleが画面の中に追加されていれば、無事インストールが完了しています。
試しに複数キャラクターの生成をしてみよう!
Latent Coupleをインストールできましたので、早速、Stable Diffusion web uiの画面で複数キャラクターを作っていきましょう!
正直、お好みにアレコレいじってみても良いと思いますが、まず使い方を読んでいきましょう。
Latent Coupleの使い方
Latent Coupleのgitを読み込んでいきますと・・・
この拡張は、組み込みのComposable Diffusionを拡張したものです。これにより、あなたのサブプロンプトを反映する潜在空間の領域を決定することができます。
Latent Couple extension (two shot diffusion port)(DeepL翻訳)
ん?センザイくうかんのりょーいき?なんのこっちゃ?って話ですね。マインドフルネスとかそういった話?って、正直思いました。
私の理解力が残念なほどに乏しいので、まずもろもろすっ飛ばして、例を見てみることにします。
Latent Couple extension (two shot diffusion port)((ultra-detailed)), ((illustration)), 2girls
AND ((ultra-detailed)), ((illustration)), 2girls, black hair
AND ((ultra-detailed)), ((illustration)), 2girls, blonde hair
Negative prompt: (low quality, worst quality:1.4)
Steps: 28, Sampler: Euler a, CFG scale: 5, Seed: 722014241, Size: 512x512, Model hash: 3f64f3baf5, Model: Anything-v3.0-fp16, ENSD: 31337, Latent Couple: "divisions=1:1,1:2,1:2 positions=0:0,0:0,0:1 weights=0.2,0.8,0.8 end at step=20", Eta: 0.67
このプロンプトを見て使い方が大体理解できました。改行されているので見やすいですね。
AND構文を使って、キャンバス内の左側、右側を指定してあげてキャラクターを描き分ける機能を足せますよ!ということです。
上から順に解説していきます。
((ultra-detailed)), ((illustration)), 2girls
超細かいイラストの女の子2人。という、プロンプトは全体のプロンプト。
AND ((ultra-detailed)), ((illustration)), 2girls, black hair
1つ目のANDのあとは、超細かいイラストの、2人の女の子の髪の毛は黒い髪。と言ったプロンプトになっています。
AND ((ultra-detailed)), ((illustration)), 2girls, blonde hair
2つ目のANDは、超細かいイラストの、2人の女の子の髪の毛は金髪。と言った具合です。
この術を絵を組み合わると、左は黒髪の女の子で、右側は金髪の女の子になりやすくなるよ。といった形です。
ネガティブプロンプトでは「クオリティの低いもの、最悪なものは生成しないでくれ」というオマジナイです。
ステップ数で絵が変わるので、20ステップ数だとこうなるよ!と、公式ページに生成物のリンクが貼られていたので貼っていきます。
20ステップだとこんな感じ
4ステップ
ガチムチのロン毛おじさん+ツインテールロリを促す
黒くて髪の長い筋肉質のおじさんと、オレンジ髪の毛のツインテールの赤目ちびっこという組み合わせです。……なに?女の子だけじゃないのかって?
それはもう、すでに開発者がやっているからやらなくて良いのです!!私は、うちの子に似ている子らを創りたいのです。
冒頭にも10枚出力されたグリッド画像を貼らせていただきましたが、厳選して破綻が少なめのものを貼らせていただきます。
おまじない文を日本語訳すると、
- 1行目:名作、最高品質、非常に詳細な美しい顔と目の、1人の父と1人の子供、アニメ、イラスト調で作って!場所は教室。ハグして欲しい!
- 1つ目AND:名作、最高品質、非常に詳細な美しい顔と目の、1人の父と1人の子供、アニメ、イラスト調で作って!+おじさんを呼びやすくするための呪文
- 2つ目AND:名作、最高品質、非常に詳細な美しい顔と目の、1人の父と1人の子供、アニメ、イラスト調で作って!+ょぅι゛ょを呼びやすくするための呪文
- ネガティブ:職場での閲覧に適さないもの(要はヱロ)、低クオリティ、最悪な品質、変な指(組指)、埋込(EasyNegative)、頬の赤み:1.5
龍龍のLatent Coupleの設定
- 分割、位置、重み:デフォルトのまま
- ステップ:40
プロンプト
masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child, (anime, illustration:1.2),classroom, hug,
AND masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child, (anime, illustration:1.2),
(((father is fairly muscular man around 188cm tall with long black hair, a long face with deep wrinkles and lines, a high-bridged nose in the center, and narrow, sharp,slant eyes:1.2)),((Casual clothing, jeans, white T-shirts with fancy points)),show your teeth and smile),
AND masterpiece, best quality, extremely detailed beautiful face and eyes, 1 father and 1 child, (anime, illustration:1.2),
(4-year-old child has twin-tails with orange hair, loli, toddler, ((Gothic Check Dress)),drooping eyes,red eyes, 😄),
nsfw,(worst quality, low quality:1.6), interlocked fingers, EasyNegative, (blush:1.5),
Steps: 40
Sampler: DPM++ SDE Karras
CFG scale: 12
Seed: 画像のキャプション参照
Size: 512×512
Model: blue_pencil-v5
Clip skip: 2
Latent Couple: “divisions=1:1,1:2,1:2 positions=0:0,0:0,0:1 weights=0.2,0.8,0.8 end at step=40”
重み05,1,1 ver
少量生成してみました。モデルやプロンプトなどは所々違うため、参考程度によろしくお願いいたします。
一枚目がすこぶる良い感じなので、シード値を固定化させて、バリエーション化しました。
結論:ロリとおっさんはむずい。が、Latent Coupleを使えば、打率を上げられるぞ。
寝ている間に何百枚とAIに絵を描いてもらっていましたが、複数キャラを作ってもらうのが苦手なAIにしては、なかなかに打率が高かったと思います。
PCを買い替える何年後かに体格差Loraを作成したいですね。
まとめ
Latent Coupleの登場によって、Stable Diffusionでの複数キャラクターの指定が簡単になりました。お勉強させていただいた記事を拝読すると、体格差のない、百合、BLはすこぶるうまく行きそうな感じです。
龍龍は、その…。
髪の長いおじさんと、ツインテールロリを作ってローカル環境でひたすらニコニコしたいのですけど中々思惑通りに行かないのが、画像生成AIの沼という。
Latent Coupleを使って、もっといい方法あるよ!など、教えてくださる方は、ドシドシコメントください!
PCのグラボの性能的に、512×512pxの画像を10枚生成するのに大体40分くらい掛かるので、Promptのイイ例を見定めるのが困難な感じです。
龍龍のように、属性が凝ったおじさんとょぅι゛ょをセットで生成するとなると、20枚に1枚、うちの子に近い絵ができたら良いのかな?と思っています。
体格差の男女で良さそうな促し方を研究していきます♪
ここまで読んでくださってありがとうございました。この記事が誰かの助けになれば幸いです。
コメント欄