LoRA／学習方法

①について

• 学習の際、キャラ名,1girl,standing等とタグをつけると思います。正則化画像なしで学習すると、互いの要素が混じり合います。
  • 1girl,standingしかプロンプトにないのになぜかキャラ要素が反映されるのは混じり合うせいです。
  • 逆もまた然りでキャラ名しかプロンプトにないのに常に1人だし立っている、というのも混じり合うせいです。
  • AIもある程度は分別してくれます。しかし、こちらの意図通りとはいきません。
• そこで、AIに「1girl,standingとはこういうもんだぜ！」と教えるのが正則化画像です。
  そうするとAIは「じゃあキャラ名はこの要素だけ入れりゃ良いね」と判断します。

②について

• 正則化画像は、学習時にウェイト算出を行う際に、ウェイトが教師画像に適合し過ぎるのを防ぎます。具体的には、下記のように教師画像による可変ウエイトとは別に、正則化画像のウェイトの割合を確保・固定する。すなわち「1girl」とはこういうものだと固定しておき、教師画像の余計な情報を吸収するのを防ぎます。

  関数f(可変ウェイト＋正則化画像による固定ウェイト）＝教師画像
  可変ウェイトが、解きたい答え、いわゆるx。

• 学習結果は「正則化画像＋教師画像」という融合した結果になります。

タグとキャプションを準備しておく

前項に従って、準備します。

• ちなみに、fine tuningではDBのようなクラスは使用できないため、タグの加工は試行錯誤になります。
• 適当な場所にオリジナルのタグファイル、DB向け加工タグファイル、fine tuning向け加工タグファイルとバックアップを取って置くと楽です。

create_json.batを作成(準備)

メタデータ作成用のbatファイルを準備します。
create_json.batの作り方は下記の通り。

• 空のテキストファイルを作成し以下をコピペして保存。
  文字コードは Shift_jis でお願いします。

• 各設定を自分の環境に合わせて書き換え。
• ファイル名を適当(create_json.batなど)に変更
  作成例：fine tuning用jsonファイル作成バッチ

  作成例：fine tuning用jsonファイル作成バッチ

  rem ----fine tuning用jsonファイル作成バッチ--------------------------------
  rem 学習対象のフォルダ内に置いて使用する
  rem jsonにまとめるキャプション、タグファイルはwebuiのDataSet-Tag-Editor拡張機能
  rem などを使用してあらかじめ作成してください
  
  setlocal enabledelayedexpansion
  
  rem ----ここから自分の環境に合わせて書き換える----------------------------------
  
  rem sd-scriptsの場所
  set sd_path="X:\stable-diffusion\sd-scripts"
  
  rem 学習画像フォルダ
  set image_path="X:\data\traning"
  
  rem ----書き換えここまで--------------------------------------------------------
  
  set json_path=%~dp0
  
  rem 実行
  cd /d %sd_path%
  call venv\Scripts\activate.bat & call :main & pause & exit
  
  :main
  
  rem 古いjsonの削除
  if exist "%json_path%\marge.json" (
    del "%json_path%\marge.json"
  )
  if exist "%json_path%\marge.json" (
    del "%json_path%\marge_clean.json"
  )
  
  rem キャプションの処理
  for /d %%d in (%image_path:"=%\*) do (
    rem 各学習フォルダの.captionをjsonに追加
    if exist %%d\*.caption (
      python finetune\merge_captions_to_metadata.py --full_path "%%d" "%json_path%\marge.json"
    )
  )
  
  rem タグの処理
  for /d %%d in (%image_path:"=%\*) do (
    rem 各学習フォルダの.txtをjsonに追加
    if exist %%d\*.txt (
      python finetune\merge_dd_tags_to_metadata.py --full_path "%%d" "%json_path%\marge.json"
    )
  )
  
  rem json内タグのクリーンアップ
  python finetune\clean_captions_and_tags.py "%json_path%\marge.json" "%json_path%\marge_clean.json"
  
  exit /b

面倒くさい人向けに、こちらでcreate_json.batを用意しました。

こちらをフォルダに保存して使用してください。

サイトからbatをダウンロードした場合、Windowsの保護機能が働いて実行を一端足止めされるかもしれません。
できればウィルスチェックしましょう。
（万が一、今後悪い人がこのwikiの添付ファイルを改造してウイルス化する可能性もあるので要注意）

create_json.batをテキストエディタで開きます。

画像ではサイトからコピペしたままの表記になっていますがお手元のファイルでは

になっているのではないでしょうか。もし違ったなら上の記述に直しておいてください。
正しい位置にファイルが置かれているならばパスは通っているはずです。

create_json.batを実行する。

• create_json.batをsd-scriptsフォルダのある階層に保存*4。
• create_json.batをダブルクリック。
  その結果、バッチファイルの場所に"marge.json"と"marge_crean.json"が作成される。
  • "marge.json"はキャプションとタグをまとめただけのもの。
  • "marge_crean.json"はsd-scriptsに含まれるタグのクリーニング処理を通して表記ゆれなどを修正したもの。
  • 学習実行時には、"marge_crean.json"の方を使います。
    training_command.bat*5に--in_json=”（jsonファイルのフルパス）”を記載するとfine tuning方式で学習が開始します。

補足
教師画像フォルダへのディレクトリのパスに半角・全角スペースが含まれているとエラーが発生します。
no metadata / メタデータファイルがありません
このメッセージが表示される場合はインストールの場所を半角・全角スペースの含まれないパスに移動してください。

create_json.batを配置する。

メタデータmarge_crean.jsonを、適宜移動しましょう。
別にどこでも構いません。

• 配置例

  　train_dir
  　├ サブセットフォルダ　その１
  　└marge_crean.json

• どこでも良い理由
  • 後述batファイル作成時に、in_json="パス名 "でメタデータのパスを指定する作業がある。
  • marge_crean.json内に、教師画像のパス指定がある。

対応している機能

• インストーラ。sd-scripts及び関連ライブラリ（LyCORIS,Prodigy)
• LECO学習
• 層別dim,層別rank
• SDXL学習　　他。

従来のバッチファイル編集による学習パラメータ入力をGUIで行えるようにしたフロントエンドです。
webuiの拡張機能にあるGUI版とは異なり、独立したアプリでpythonの標準ライブラリで作成したため
VRAMやメモリの消費は最小限に抑えられていると思います。
まだ開発途中のためTOML形式での学習パラメータ作成には対応していませんが、下記のWindows向け学習実行バッチファイルでできることは一通り可能で、フロントエンドからの直接学習実行だけでなく入力データからバッチファイルを出力することも可能なため、SD-Scriptsに機能が追加された場合でも本フロントエンドのアップデートを待たずに新機能を試すことも可能です。

(クリックで拡大可能)

ダウンロード
LoRA_UI_0522.zip

1.インストール
ダウンロードしたLoRA_UI.zipを好きなフォルダに解凍します

2.実行
解凍したファイル内のLoRA_UI.batを実行(ダブルクリック)します
python3.10.xがインストールされていれば仮想環境の作成などは不要です

3.初回設定
はじめて起動すると「設定」タブが表示されるので、自分の環境のSD-Scriptsが存在するフォルダを指定し、もしSD-Scriptsの仮想環境が"venv"以外であれば「仮想環境フォルダ名」も入力して「保存」ボタンを押して設定を保存します
以降は設定の必要なく使用できます

• Do you want to load a json config file?
  学習モデル・教師画像・出力先の設定を保存されたものから流用するか。続きから学習したり、同じ設定を使い回す場合に。
• Select your base model
  学習モデルの選択。

• Select your image folder
  教師画像フォルダの選択。下記の「学習データの配置」を参考にしよう。ここで指定するのは「学習データ配置例」でいうところのtrainingに当たるフォルダであることに注意。

• Select your output folder
  出力先フォルダの選択。ここに学習が終わったファイルが作られる。

• Do you want to save a json of your configuration?
  設定をjsonファイルに保存するか。ここで保存しておくと、一番最初の「Do you want to load a json config file?」で設定を呼び出せる様になる。これ以降に入力する設定値もいくらか保存されるので要確認。

• num_works:How many workers do you want?
  データローダーのワーカー数。メインメモリに依存する。32GB位あれば6～8程度に設定できる。それより少なかったり、あるいは実行中にプログラムが落ちてしまったらここを減らして様子を見てみよう。

• Do you want to use ragulasation images?
  正則化画像を使用するかどうか。Dreambooth方式で学習する際に指定する。

• Select your regulatization folder
  正則化画像フォルダの選択。下記の「学習データ配置例」でいうところの「reg」に当たるフォルダを選択しよう。

• Do you want to continue from an earlier version?
  過去の学習ファイルから継続して学習させる場合は、続いて学習ファイルを指定する。注意点として、前回の学習ファイルの名前と、今回続きから学習して終わったときのファイル名が同じだと保存エラーが発生する。そのため、続きから学習するときは前回のファイルの方の名前を変えておくとよい。

• How large is your batch size going to be?
  →バッチサイズの選択、VRAMに依存する。

• How many epochs do you want?
  →学習するエポック数を指定。

• What is the dim size you want to youse?
  →学習する次元数を選択。8～128程度から学習対象の複雑さによって最適なものを選択しよう。

• What Alpha do you want?
  →アルファ値の選択。基本はdim sizeと同じ。アンダーフローを防止する。

• How large of a resolution do you want to train at?
  →学習の解像度を選択。基本は512。それ以上はVRAM負担が一気に上る

• What learning rate do you want to use?
  →学習率を選択。デフォルトは1e-4(0.0001)。

• Do you want to set the txt?encoder_lr?
  →Text Encoderの学習率。参考値は5e-5

• Do you want to set the Unet_lr?
  U-netの学習率を設定。参考値は1e-3

• Which scheduler do you want?
  学習率のスケジューラーを設定。可変学習率設定で使う？

• How many times do you want cosine to restart?
  学習率の変動をどのくらいの頻度で行うか？

• Do you want to save intermediate epochs?
  一定エポックごとに途中セーブするか

• How often do you want to save epochs?
  途中のファイルも保存する場合、何エポックごとに保存するか指定

• Do you want to shuffle captions?
  キャプションシャッフルをするか

• Do you want to keep some tokens at the front of your captions?
  キャプションシャッフルする場合、先頭からいくつまでのキャプションはシャッフルせず保存するか

• Do you want to have a warmup ratio?
  学習率を最初小さくして徐々に上げる設定(ウォームアップ)にするか

• What is the ratio of steps to use as warmup?
  ウォームアップする場合、小さくするステップの割合を指定

• Do you want to change the name of output epochs?
  途中セーブのファイル名をオリジナルと別の名前にする？

ステップ1:まずは画像を集めようじゃないか

まずは、画像フォルダを準備（初期化）しよう

今、フォルダの中は

の様なはずです。lora_train_dataをクリック(またはダブルクリック)してフォルダを開きます。

さらにtrain_dirをクリック(またはダブルクリック)しましょう。

…よく考えたらここまで画像を使って説明する必要って何でしょう…という疑問が浮かびますが気にしてはいけません。
10_hoshiをクリック(またはダブルクリック)します。

サンプルの画像とテキストファイルの含まれるフォルダ階層へと到着しました。
早速ですがこれらのファイルを消します。

なぜ消した…！？
…そうか…俺が指示したのか…。

まずは、画像を集めよう

ファイルが消滅し真っ白になったフォルダで何をするか。
そうです。あなた自身が画像を集めるのです。
再現したいと思っているキャラの画像で満たすのです！
最初から大成功を狙う必要はありません。何ごとも失敗を繰り返した回数だけ上手になるものです。

画像の枚数は10枚ということにしましょう。目標が高すぎるといつまで経っても完成しません。
好きなキャラの画像、10枚。厳選してもいいですしパッと決めてしまってもいいでしょう。

• ポイント
  なるべく学習したい対象の特徴を捉えた画像であること。
  • 全身像がわかるものが一枚から三枚ほどあると良し、
  • 画像のなかに対象以外の人物が含まれていないこと。
  • 表情やポーズがそれぞれ違うと大変素晴らしいと思います。

    10枚集まったら1から10までの連番のファイル名にします。半角数字です。
    面倒だったらそのままで良し！ そのまま次へ！
    (連番にしなかったからといってエラーは出ません！画像の数が増えると管理が面倒になったりする程度！)
    

準備が出来たらステップ2に進みます。
「かったるいぜ！」と言う方は一気にステップ5へ飛んでください。
なんせ次ステップ以降の解説は学習用画像の意味をメタデータを使ってAIに説明するっていう…
…ちょっと難しくて手間のかかる行程ですので。

フォルダ名を決めよう

せっかく画像が集まって気持ちも暖まってるのですから、フォルダ名も変えてしまいましょう。

フォルダの上で右クリック、そして名前の変更。

loraの呼び出しに使うトリガーワードにもなるので重要な名前となるでしょう。
(リピート数)_トリガーワード形式で書きます。

今度こそステップ2へ。

ステップ2:タグをつける

キャプション・タグ編集
のページを参照してタグをつけましょう。

執筆時点では、WD1.4 Tagger（拡張機能の一つ）を使うのがオススメ。

ステップ3へ。

ステップ3:タグの調整
WD1.4 Taggerによるタグ認識は絶対ではなく、
明らかに誤認識して付けられたと分かるようなタグも沢山でてきます。
なので、追加で編集したほうが、学習の出来栄えはグッと良くなります。

自動タグアプリの結果を観察しよう。

ちょっと説明に使う画像は変わりますが、錦木千束さん(from リコリスリコイル)の画像を使って解説します。
画像をWD1.4 Taggerに読み込ませた画面。
赤枠で囲まれた部分に自動認識されたタグが表示されているのがわかるでしょうか。

分かりやすいようテキストエディタにコピペします。
構成要素が沢山並んでいますね。

要素別に色分け＆分類してみましょう。

1	2	3
キャラの特徴要素を示すタグ	キャラの服装らしきタグ	+その他
bangs(前髪)、blonde hair、ショートカット、ボブカット、赤色の瞳。		さらにタグに紛れて"nishikigi chisato"のタグもあるようなのでそれも色分け。
	一部の要素が重複していたり「ドレスじゃないよ」と思うかもしれませんがそういうものです。想像力を働かせましょう。

タグを修正しよう。

LoRA作成のタグ編集においては
キャラの特徴を表わすタグを抜くことでキャラの特徴を教育することが出来るとされています。
残すのではなく、抜くのです。
間違えて覚えると大変なことになります。

つまり、上の画像から赤色で示したタグを抜けばキャラの顔や髪型、リボンの色形などを学習したloraを作成でき、
その反対に青色で示したタグを抜いてしまえばキャラの着ている服装、リコリス制服の特徴だけを学習したloraを作れるわけです。
覚えさせたい要素はテキストからタグを抜く。
今回は解説のため両方の色のタグを抜いたテキスト。つまり外見と服装の特徴を捉えたloraを出力できるテキストに成形してみましょう。
こんな感じです。

髪型や髪飾り、スカートやジャケットなどのタグは抜き、lycoris uniformとnishikigi chisatoは残しました。
最後にキャラ呼び出しのトリガーワードにするためnishikigi chisatoを先頭に移動させてタグテキストは完成。
細かく抜いたタグの分の要素が濃縮されて nishikigi chisato と lycoris uniform に込められた…
とイメージすると分かりやすいかと思います。

このように画像の数の分だけテキストを編集していくわけです。
また、今回はたまたまキャラの名前がテキストの中にありましたのでそれをトリガーワードとしましたが
当然こういうことは有名な人物に限った話で大概の場合は自分でタグをテキストの中に打ち込むことになります。
そのときは教師画像のはいったフォルダ名とワードを一致させるよう気をつけて下さい。

(2023/04/07:コメント欄にて『タグテキストを使う場合はフォルダ名とトリガーワードを一致させる必要はない』との指摘を頂きました。
ですがフォルダ名とワードを一致させる制作法はネットで見かけるものの、一致させないでもいい、との方法は寡聞にして知りませんでした。
詳しい情報をお知りの方はコメント欄にて教えて下さるとありがたいです。)

トリガーワードをガーッとテキストの先頭に記述しましょう！

• sd-scriptsは優秀な分析でキャラやポーズを認識してくれますが、分かりづらいことや理解がおよばないことがあります。
  そういうものは人間側があらかじめ察して「ブランコに座っています(sitting swing)」という具合に
  状況的に足りないタグを書き足してあげたほうが学習精度が高まります。
  • 例：cv_wakamoto,1man,creature,sitting swing…。
• WD1.4 Taggerが明らかに誤認識したようなタグは消した方がいいです。
  「でも抜いたら覚えちゃうんじゃないの？」と思うかもですが、AIを誤解させて学習に変な癖がつくほうを避けるべきです。
• 自身の感じる必要性に応じて 1girl など一見重要そうに思えるタグなども外してもいいでしょう。
• 教師画像への忠実さ、汎用性どちらを求めるかで、タグを残すか足すかトライ＆エラーすることになります。
  臨機応変。信じられるのは結局自分の感のみ。俺たちは自由だ…！！！

画像１枚ずつタグ編集するのは大変なので、編集アプリを使うと良いでしょう。
キャプション・タグ編集#tag_adjust

ステップ4:メタデータを作成する【fine tuning方式限定】

sd-scriptsが認識できるjson形式のメタデータを作成します。
としあき製のcreate_json.batを使って、ステップ3で作ったタグファイルを一括処理してしまいましょう。

このページ内の
fine tuning向けメタデータの作成方法
を元にcreate_json.batを準備して、実行しましょう。

create_json.batを実行してみましょう。

mage does not have caption/メタデータにキャプションがありません
今回キャプションファイルは作っていないのでこのエラーが出ても大丈夫です。
writing metadata: merge_clean.json done!

ファイルがふたつ増えていたならば成功です。おめでとうございます。
出来なかった人もこんなところで粘る必要なんて全然ないんです！ステップ5に行ってしまいましょう！
いよいよ次のステップで念願だった LoRaの生成が出来るぞ！

必要なファイルはすべて揃いました。ついにLoRA生成の時が訪れた！
・・・で、どうやって動かすの？
実行用のbatファイルを作りましょう！

ここではとしあきbatの実行スクリプトであるtraning_command_sample_loha.batを使って解説します。

としあきbatは当wikiでの公開中止中なので、学習実行batの作成例ページをテキストファイルにコピペした上で、下記の編集をしてくださいね。

説明画像１枚目：ディレクトリ設定

sd-scriptsの場所は変更せずそのままでいいです。
学習のベースモデルファイルはモデルについてを参考に、自分の好みに近いものを選びましょう。
学習画像フォルダは、下記の例でいうとChara１を指定してね。

フォルダ階層例

train_dir
　└ Chara1  ←今回学習したいキャラ  ←指定するのはこのパスだよ。これで下階層の３つのフォルダが学習対象になるよ。
　    ├ 10_maruzen
　    ├ 10_shobu clothes
　    └ 10_mizugi maruzen
　└ Chara2  ←次回学習予定のキャラ（学習の対象外）

メタデータjsonファイルはステップ2～4の作業をした人は次の物を入れて下さい。

「ほら見ろ！やっぱり面倒だったんじゃないか！まるごと飛ばして正解だったぜ！」
「だけど marge_clean.json は出来なかった。出来なかったんだよ。としあき。だから…この話はここでお終いなんだ」という当然極まりない選択をしたひとはごめん。本当にごめんね。set json_file=""のままで大丈夫です…。

説明画像2枚目

学習アルゴリズム：ひとまずbat編集が簡単なLoHaが良いと思う。あるいはLoCon。
fine tuningでのリピート数を指定：図では10を指定していますが、学習後に学習量が足りないと感じたら増やし、学習不足と感じたら減らせばOK。
学習結果の出力先は直接SDの"models\lora"に出力していいです。
学習結果のファイル名は出力するLoRAのファイル名です。トリガーワードとは関係ないので分かりやすい名前でOK。
epochs数と何epochsごとに保存するかの設定に関してはこれといったら正解はありません。
ファイル数 × ループ回数(fine tuningのリピート数だったり教師画像フォルダの先頭に書いた回数だったり) × epochs数 ＝
が実行されるsd-scripts学習のステップ数となります。

説明画像３枚目

次元数。
大きくするほど詳細に教師画像を読みとるといわれていますが大きすぎても線が暴れます。Lohaならデフォの8で充分。
その他の設定もデフォで大丈夫でしょう。
なにせ初めてのLoRa制作です。この辺りの設定で試行錯誤するのは次回に回しましょう。

あとは動かすだけ！

すべての素材を集め、すべての設定を終えました。
これで準備は完了です。あとはいま設定を書き換えたbatファイルを実行するだけです。

完了予定時間はPC環境と設定したステップ数にもよりますが30分から1時間程度。RTX40xxなら10分も掛からないかも。
時間の確保が出来たらさっそく開始してしまいましょう！いざクリック！

エラーが出たらごめん。

ここで注意したいのが、
潜在的に最も精度が高くなりうる設定（例：LoCon,高dim等）ほどシビアなバランス調整が要求されること。
学習能力が高いゆえに、ユーザーの設定ミスを素直に学習してしまう。
不慣れなうちは、低dim,お助けオプション（自動オプティマイザー等）を使う方が案外まともに学習する。
※一般的に、最適解に関する意見が分かれる一因です。

上記はあくまで一例です。
広い視野で、さまざまな設定を学んでいきましょう！
（願わくば、パラメータフリーで完ペキに学習できる時代が来てほしいが、まだ我慢。）

なんか最初の数トークン分をシャッフルから保護してそれ以外をシャッフルする機能もあると聞きましたが
keep_tokensっていうオプションに保護したいトークン数入れておくとシャッフルから除外できるよ
これで例えると"burubon"をシャッフルから回避させたいから
burubon, dress, 1girl, stage clothes, night, pool,
keep_tokens = 1
これで"burubon"タグを先頭に固定できる

https://mobile.twitter.com/t_zunko/status/1641779055413579776
にて公式アセットを配布している東北ずん子のデータを無加工で使い制作したLoRA
画像枚数61枚,バッチ数1 (総ステップ数:2196)
Learning rate=1e-3
text_encoder_lr=1.5e-4
unet_lr=1.5e-3
dim=8 cov_dim=8 alpha=1 conv_alpha=1 min_snr_gamma=5 optimizer:AdamW8bit
生成に使用したプロンプト:
zunko, 1girl, solo, japanese clothes, muneate, tabi, hairband, very long hair, short kimono, full body, standing, green hair, tasuki, obi, outdoor

https://mobile.twitter.com/t_zunko/status/1641779055413579776
にて公式アセットを配布している東北ずん子のデータを無加工で使い制作したLoRA
生成に使用したプロンプト
zunko, 1girl, solo, japanese clothes, muneate, tabi, hairband, very long hair, short kimono, full body, standing on one leg, green hair, tasuki, obi, outdoor,

61行目あたりのfine tuning方式のリピート数設定(set ft_repeats)の下ぐらいに

rem データセットファイル(json,toml形式)
rem(このファイルを指定するとデータセットモード動作になる。使用しない場合は""とすること)
set dataset_file=""

を追加。

130行目あたりにある train_mode を設定するスクリプトを以下のように書き換える。

set train_mode=""
if %dataset_file%=="" (
rem データセットファイルの有無を確認。なければjsonファイルの存在チェック
  if %json_file%=="" (
rem DBモード
  if %reg_path%=="" (
    set train_mode=--train_data_dir=%image_path%
  ) else (
    set train_mode=--train_data_dir=%image_path% --reg_data_dir=%reg_path%
  )
 ) else (
rem fine tuningモード
  set train_mode=--train_data_dir=%image_path% --in_json=%json_file% --dataset_repeats=%ft_repeats%
)
) else (
rem データセットモード
   set train_mode=--dataset_config=%dataset_file%
)

(テキストファイルの行数はわりと環境によって変わるので曖昧な行数指定ですみません)

16xx系のグラボを利用している人は要注意

88無念Nameとしあき23/03/26(日)16:45:55 ID:XN9jT7Y6[4]No.1080440201No.1080440201 ngそうだねx7

>NVIDIA GeForce GTX 1660 Ti で
それですね
GTX16xx系は実はAIにはあまり向いてないそうで
自分は持ってないので試せてないけど
実行オプションで

--mixed_precision="no"

にして
resolutionを400まで下げるといいらしい
GTX16xx向けの上記の設定済みの実行バッチを上げたのでこちらで試してみてください
fu2045787.zip