LoRA学習のテクニックの一つ。
差分LoRAを使うと、狙った要素を重点的に学習できる。
裏テクニック？「差分LoRA」が強力な件
flat2やadetailerもおそらくこういう作り方だろう、という特殊なLoRAの作り方を紹介する。
まずは１枚の絵を用意する（写真A）。写真Aを元に、好きな箇所を変化させた写真Bを作る。
例えば口元が笑っているだとか、何でもいいので変化をつける。これが再現したいターゲットとなる。
要は、この写真AとBの差分をLoRAで学習しようということだ。
写真Bを普通にLoRA学習しても、再現性が半々ぐらいなことはよくある。その場合に比べて、差分LoRAははるかに強力な再現性があるのが特徴だ。
手順
- 好きなモデルで写真Aを普通にLoRA学習する。
（過学習させたほうがいいという情報もある） - そのLoRAと、上記のモデルをMergeする。
マージ比率は1.0あるいは1.1で強く効かせる - ２で作ったモデルをbaseとして今度は写真BをLoRA学習する。
loss=0.02以下になるまで学習 - １のモデルに戻して、出来たLoRAを適用してみよう
写真Aの状況になれば必ず写真Bの効果が現れる。
例えば写真Aをディティールアップした写真Bで学習すれば、flat2のような効果も出せるだろう。
髪だけ詳細に描きたいだとか、いろいろな応用が考えられる。
コメント
(Tips)
- 既存コメントの先頭にあるラジオボタンをONにすると、そのコメントの下にぶら下げ返信する形になります(ツリー構造)。
- コメントの文中で↵ボタン(下の画像参照)を押すと「&br;」の文字列が挿入されます。これは送信後に改行として機能するので、文章の整形に役立ちます。
