Dream Booth

Last-modified: 2022年末
それ以降も校正作業は実施していますが、内容自体は古いものです。
23/5/10時点Extensionsの「Dreambooth」の更新が続いているが、としあきの利用人口が少なく情報が少ない。

概要

• Dream Boothは学習方法の一つ。
• モデルそのものに追加の学習を施す。
  大体モデルはどれも2GB以上あるので学習データを共有しにくい。
  元の画像を高精度で再現することが出来る。
  ただ、再現度が高いため弊害もあり、学習元と違うことをさせようとすると難しい。

公式解説(英文)
filewords を使用したスタイル トレーニングに関する WIP ガイド。
【Dream Boothのメリット】

• 低品質な学習用画像・数千Stepsでも、お手軽に高画質・高再現性を実現できます。
  • Hyper Networkより、成功率・安定感が高くなっています。
• 完全再現が目指しやすくなっています。

【Dream Boothのデメリット】

• 1ファイルだけで容量が2～4GBにもなります。
  • LoRA出力も可能なので数MBで済む(Checkpoint出力すると2～4GBになってしまうのでCheckpoint出力のチェックは全部外すこと)
• 一部promptで表現の幅が狭まり、学習用画像と似たような構図・服装ばかりになります。また反映率が低いか、完全に反映されない場合もあります。

  • 他デメリット解説を開く

    ・特定属性に完全特化して作るものと割り切るか、promptに応じてHyper Networkと使い分けましょう。
    ・完成したHyper Networkは要素を0→10・1→50程度に増幅できますが、Dream Boothは0→3・1→100程度でしょうか。
    ・学習時点でprompt要素がわずかでも備わっているのが望ましいです。

導入方法

トレーニング導入方法

「Extensions」タブを開きます。
(このタブ自体が存在しない場合、AUTOMATIC1111を要バージョンアップ)
↓
「Available」タブを開き、そのまま「Load from:」を押します。
↓
Extension欄
「Dreambooth」
から「Install」を押して待ちましょう。
↓
その後WebUIを一度終了後 webui-user.bat に
｢"set REQS_FILE=.\extensions\sd_dreambooth_extension\requirements.txt"｣を追記後、
stable diffusionを起動すると、依存関係がインストールされる。

必要スペック

VRAM12GB程度
(トレーニング時「Use CPU Only (SLOW)」にチェックかLORAを使用すれば、おそらくVRAM8GB以下でも可能です)

通常利用方法

フォルダ「models→Stable-diffusion」にckptファイルを入れ、
AUTOMATIC1111上で「Stable Diffusion checkpoint」を更新し選択します。

出力画像が暗いと感じる場合はvaeファイルをコピー・リネームし、同時に読み込みましょう。

• 「(.ckpt前と同名).vae.pt」を設置
  • 「DB.ckpt」の場合はvaeファイルを「DB.vae.pt」にリネーム
    • パラメーターの設定で学習時vaeのPathを直に指定することが可能になった

０．学習用画像の準備

• 学習の事前準備
  • 適当な画像でも学習可能ですが、高完成度・完全再現を目指したい場合はしっかり準備しましょう。

• 正則化画像の準備
  • 学習させたい画像のfilewordを使用してDBのベースになるモデルで生成
    この画像と学習画像の差異がDBで学習したものを示す文字列で呼び出される
    設定した値次第で自動で生成される

１．Dream Booth作成

「Dreambooth」タブを開いた後、「Model」項目にある「Create」タブを開きます。
「Create Model」タブを開きます。
このタブ自体が存在しない場合、「トレーニング導入方法」を実施してください。

• 「Name」
  • 分かりやすい名前を自由に入力します。(重複しないように要注意)

• 「Source Checkpoint」
  • ckptファイルを選択します。愛用しているか、目指す方向性が一致しているモデルを選びましょう。
    • 他Dream Boothのckptファイルを選ぶのは基本厳禁です。(上級者向け)

• 「Scheduler」
  • 「pndm」のままでも一応動きます。(要編集)

• Create Modelボタンを押す。
  →空のDream Boothが作成されます。

２．トレーニング設定

「Dreambooth」タブの、「Model」項目にある「Select」タブを開きます。
「Model」から前項で作成したモデルを選択します。
その後、「Train Model」へ移ってください。
公式解説(英文)

• 「Dataset directory」
  • 加工済の画像を保存したフォルダのパスか、任意の学習元画像が入っているフォルダのパスを書きます。
    • 画像ファイルだけを入れ、txtファイルは入れないでください。

• 「Classification dataset directory」
  "Class prompt"が入力されていて空欄の場合"/models/dreambooth/MODELNAME/classifiers/"に"Total Number of Class/Reg Images"で設定した枚数が出力される
  • 空欄推奨。(要編集)

• ｢Instance Token｣
  学習内容を呼び出すための識別子
  モデルが理解できない無意味な文字列で1トークンであることが望ましい（例えば、skz, baa, ozjなど、辞書に存在しない単語を定義する）
  トークン数の多い識別子を使用すると比例して学習時間が伸びる

• ｢Class Token｣
  学習させたい内容が大まかにどんな属性を持つのか
  人物の場合 human/man/woman など
  Danbooruタグで学習したモデルを使う場合 girl/boy のほうが向くかも

• 「Instance prompt」
  インスタンス・プロンプト:学習させたものを指し示す文字列を含んだプロンプト
  犬をトレーニングする場合インスタンス・プロンプトは「photo of zkz dog(zkz犬の写真)」になります。
  [filewords]を使用可能

• 「Class prompt」
  クラス・プロンプト:サブジェクトの「もの」のタイプを示すキーワード。
  インスタンス・プロンプトが「zkz犬の写真」の場合、クラス・プロンプトは「犬の写真」になります。
  事前保存トレーニングを無効にするには、このフィールドを空白のままにします。
  クラス・プロンプトで[filewords]を使用できます。
  このプロンプトを使用して識別子を含ままい状態でベースにするモデルが生成する正則化画像が生成される
  • 「*」のままでも一応動きます。
    しかし必須
    (要編集)

• ｢Classification Image Negative Prompt｣
  正則化画像を生成するために使われるネガティブプロンプト

• ｢Sample Image Prompt ｣
  空欄でInstance promptを使って生成される
  Instance Promptが短い場合は、an illustration of ???, [filewords]など、指定する必要がある。

• 「Concepts List」
  • 空欄のままでも一応動きます。(要編集)

• 「Total number of classification images to use. Set to 0 to disable.」
  • 「0」のままか「画像枚数×10」を入力しましょう。

• 「Training steps」
  • 1000～2000程度で大丈夫です。
    (下記「Learning rate」設定が、デフォルト0.000005の場合)

• 「Batch Size」
  • 1回あたりの並列実行数
    • 増やすとRAMの使用量が爆発的に増えます
  • 「1」のままで大丈夫です。
    • 2以上にしてもほとんどの場合、ただ処理が重くなります。

• 「Class Batch Size」
  • 1 promptあたりで生成する正規化画像の枚数（おそらく）
  • 「1」のままでも一応動きます。(要編集)
    • 1 promptで大量に生成すると、学習の結果がどれだけ似ているのか確認しやすいです

• 「Batch Size」と「Class Batch Size」の補足
  • VRAM 16GBあればBatch Size=4, Class Batch Size=4 (4,4)をギリギリ動かせます
    • (1,1) のときは、1枚あたり12～13秒
    • (4,4) のときは、4枚あたり38～40秒
    • それぞれ4倍にすると1～2割ほど速くなる = 電気消費がとても激しくなる
  • VRAMの容量を超えるBatch Sizeを指定すると落ちます
    • 初期化のときにVRAMを大量に消費してから落ちる
    • (4,4) を実際に動かしているときはVRAMは7GBのみ消費
    • (4,8) ではVRAM 7GB、RAM 41GB

• 【重要】「Learning rate」
  • 「0.000005」のままでも一応動きます。(要編集)
    • 学習の深度を決める数字です。

• 「Resolution」
  • 512で出力したのであればそのままで大丈夫です。(学習の事前準備の画像と同じ大きさを指定します)

• 「Save a checkpoint every N steps, 0 to disable」
  • 何stepごとにckptファイルを作成するか決めます。1ファイルごとに2～4GBになるので注意してください。
  • 世代比較をして完成版を選ぶため、Lr0.000005であれば「250」か「500」でいいと思います。

• 「Generate a preview image every N steps, 0 to disable」
  • 何stepごとにpreview画像を出力するか決めます。
    • 環境・バージョンにより出力時エラーが生じます。その場合は「Training steps」よりも大きな数字を入力して無効化してください。(0でもエラーが出る場合があります)

• 「Preview image prompt」
• 「Preview image negative prompt」
• 「Number of samples to generate」
• 「Sample guidance scale」
• 「Sample steps」
  • preview画像の生成に用います。

【Advanced】
(基本はいじらず、そのままで大丈夫です)

• Use CPU Only (SLOW)
  • VRAM12GBに満たず、うまく動かない場合はオンにしましょう。
• Don't cache latents
• Train Text Encoder
• Use 8bit Adam
• Center Crop
• Gradient Checkpointing
• Scale Learning Rate
• Mixed Precision
• Scheduler
• Prior Loss Weight
• # Training Epochs
• Adam Beta 1
• Adam Beta 2
• Adam Weight Decay
• Adam Epsilon
• Max Grad Norms
• Grad Accumulation Steps
• Warmup Steps

３．おすすめの設定組み合わせ

(要編集)

• 学習をキャンセルしたときに保存する
  • Saving → Checkpoints → Generate a .ckpt file when training is canceled
  • 設定をテストしたいときはオフにする、本番になったらオンにする
• 定期的に.ckptを保存してバックアップを取る
  • Saving → Checkpoints → Generate a .ckpt file when saving during training
  • Setting → Basic → Intervals → Save Model Frequency (Epochs)
    • 何回学習するごとに保存するか
    • 2時間ごとなら、その設定で2時間回したときの学習回数を入れる

４．実行

上部「Train」を押します。

５．トレーニングの止め方

上部「Cancel」を押します。
デフォルトだと学習内容を破棄するので注意。

６．困ったときは

(要編集)

メモ・備忘録

ご自由にどうぞ01

ご自由にどうぞ02

ご自由にどうぞ03

コメント・指摘・助言

(Tips)

• 既存コメントの先頭にあるラジオボタンをONにすると、そのコメントの下にぶら下げ返信する形になる(ツリー構造)。
• コメントの文中で↵ボタン(下の画像参照)を押すと「&br;」の文字列が挿入される。これは送信後に改行として機能するので、文章の整形に役立つ。