コメント/LyCORIS

LyCORIS

• lohaの次元数の指定(dim,con_dim)はかなり小さくていいらしい。loraと比べると2乗程度の違いがあるのでdim=8でもloraのdim=64程度の影響力があるとか -- 2023-03-27 (月) 01:09:02
• ちょうど今日LoConってなんだ？と思って調べたらwikiにまとめてある
  　神としか言いようがない -- sabu? 2023-03-27 (月) 22:33:56

• --network_module=　を書き換えるファイル名教えてくれませんか -- 2023-03-28 (火) 15:42:14

  • 俺はエスパーじゃないから、君の手元にあるバッチファイルの名前まではわからないなあ… -- 2023-03-28 (火) 16:45:09
• DyLoRAのメモ
  DyLoRAは複数のDimを同時に学習できる仕組み、これにより学習後複数のDimに分割したLoRAを作成できる　例　Dim32 Unit 4 の場合　分割は（4,8,12,16,20,24,28,32）になる。使い方としては適正Dimを探るときの時間短縮か？ -- 2023-04-21 (金) 04:29:35
  • Unitサイズは通常のDyLoRAでは1層ごとに学習しているのを指定した倍数の層のみ学習する？
    なのでUnitはDimを割り切れる数字で指定しないといけない、1stepで1層しか学習できないので通常のLoRAよりは学習に時間がかかる。 -- 2023-04-21 (金) 05:06:25
• Lycorisは推奨設定使っても今一つパッとしなかったけど、間違ってどっちも64dim/32alphaにしたら何か好みの感じになった、LoRaもそうだけど正直ブラックボックス過ぎてよく分からん…ゆくゆくはこの辺りも整理されて最適解で作ってくれるアルゴリズムみたいなのが出てくるのかな -- 2023-04-22 (土) 21:36:53
• LycorisってもしかしてLoraみたいに複数の概念を覚えさせるのって無理なのかな？トリガーワード使っても服装やキャラが呼び出されん・・。 -- 2023-05-16 (火) 18:42:48
• ネットにあるLoRAにサイズ軽くて再現度かなり高いものもあるしLycorisがLoRAより小さいサイズで再現度高いってのは厳密には違うような気がする。 -- 2023-05-18 (木) 18:56:49
• 本体の39ec4f0のコミットで拡張機能が動かなくなってるらしい https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/10342 -- 2023-05-21 (日) 22:22:14
• 動かなくなったのはlocon廃止したのでLycorisを入れろとの事。あとLycoris・DyLoRAは複雑な設定が出来るLoRAという位置付けっぽいので上級者じゃなければ無理して使う必要はないかも。 -- 2023-05-27 (土) 16:27:07
• AttributeError: 'ExtraNetworksPageLyCORIS' object has no attribute 'get_sort_keys'
  というエラーになってしまい、lycorisが使えません。解決方法わかる方がいらっしゃったら教えていただきたいです。 -- 2023-06-04 (日) 18:57:37
  • 私も同様の現象になりgit-hubを確認すると、すでに多くの報告があがってました。現時点では作者の方が修正版をアップされ、その報告スレッドも閉じられてます。 -- 2023-06-05 (月) 07:34:03
• ちなみにloconの方はなぜか使えます -- 2023-06-04 (日) 19:07:49
• ページのレイアウト、特に順番を変更しました。はじめての人向けの可読性向上が目的です。今後時間を見つけて、学習時に指定するパラメータ一覧表を追記する予定です。 -- 2023-06-21 (水) 17:54:24
• Prodigyの登場により、LoKRがかなり使いやすくなりました。
  Lr自動調整型オプティマイザーという特性がLoKRの敏感な特性に合っている。
  かつ、LoHaよりも自然な絵になりやすいです。
  大胆なLr調整しにくかったり、装飾品等の学習といった細かい所は未検証だけど、低容量2.5MB程度なので、ライトユーザーなら常用するのはアリです。 -- 2023-06-24 (土) 10:12:37
• 最新(v1.4.1)だとLoraは使えてLycorisは使えないですね -- 2023-07-18 (火) 03:08:39
  • ↑訂正、再起動したら使えるようになりました -- 2023-07-18 (火) 03:59:16
  • 1.5.2時点でLoraフォルダでLycorisが使えるのを確認。 -- 2023-08-27 (日) 21:09:08
• 既存の学習率の公式を当てはめても、LyCORISを使うとステップ数やエポック数が全然違うから、適切な学習率を求めることができない。一応、既存の学習率を当てはめてるけど、ステップ数が何倍も違うから困った。書き出されたckptでその都度様子を見てるんだけど、どこで破綻するかわかったもんじゃない。 -- 2023-07-20 (木) 12:52:47
  • まあ仕方ない話ですね。
    学習中のサンプル出力オプションを使えば良いと思う。 -- 2023-07-20 (木) 13:48:13
• 昨日の夕方頃から急にLycorisが動かなくなった、何も弄ってないのに10分前と同じプロンプトで生成ボタンを押したらエラー吐くようになったがまた何かあったのか？ -- 2023-09-03 (日) 06:22:22
• sd-scripts本体の2023年10月1日版readmeにて導入するpytorchが2.0.1となりましたが2.0.1だとfullモジュールが上手くいかないみたいです。(Out of memory表示) -- 2023-10-03 (火) 23:20:09
  • その説明ですと、fullを使ったせいでVRAM不足（Out of memory）になっているみたいですね、Pytorchは関係ない気がします。現に私の環境（下図）では動いています。
    
    色々な事が遠因で動いていないのかもしれませんが。昨日、kohya氏がX(旧Twitter)で「不具合あればご報告ください」って言ってましたよ。; -- 2023-10-03 (火) 23:41:11
    • 失礼、言葉足らずでした。RTX4090で解像度512のバッチサイズ2でoutofmemoryは流石におかしいだろうとpytorchのバージョン戻したら学習動作したのでこれが原因かと思ったところ。pytorchを2.0.1にして再度検証して報告する形にします。 -- 2023-10-04 (水) 09:20:07
• fullについて情報を追記しました。
  画像で検証結果を示したかったのですが、わかりやすい比較条件が見つからないので断念しました。文字説明だけで勘弁してください。 -- fullの筆者? 2023-10-07 (土) 20:12:58
  • fullの品質が高いのか、低いのか、反例があれば情報が欲しいです。（できれば理論的な理由も添えて） -- fullの筆者? 2023-10-07 (土) 20:18:35
• full　ってSDXL対応してますか？ -- test? 2023-11-01 (水) 15:46:51
  • どんな目線と覚悟で質問しているかによるけれど、SDXLは非対応。
    一応理由を書いておくと、LyCORIS制作陣はSD1でしかテストしていない。kohya氏及び琥珀青葉氏の所有グラボ（せいぜいRTX4090だったはず）ではNFT(Native fine tuning)✕SDXLの検証は到底無理。家庭向け最強のRTX4090ですらSD1のNFTの全層学習がほぼ限界（某スレ報告より）。一般には、未検証＝非対応扱い。
    NFTはSDXLに２つあるテキストエンコーダを学習対象にしていないので、本質的に対応できていない。SDXLしたいなら、まずLyCORIS以外で学習するスキルがあることが前提。
    preset configで学習層削ればSDXL使えるのかもしれないが、それは本質的にNFTと言えるか微妙。LoRA-C3LierやLoRA以外（ガチのfine tuning）でいいじゃん、となる。 -- 2023-11-01 (水) 21:10:03