DoRA(Weight-Decomposed Low-Rank Adaptation)

Last-modified: 2024-03-17 (日) 17:06:00

DoRA(Weight-Decomposed Low-Rank Adaptation)

2024/03/15 Lycoris 2.2.0で対応
従来のLoRAより低DIMでのパフォーマンスが向上している模様

使用するに当たって最低限必要な要素
"--network_module "lycoris.kohya""
"--network_args "algo=lora" "dora_wd=True""

2024/03/17時点では高DIMや高LRで学習するとNaNになりやすい

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」
https://gigazine.net/news/20240220-dora-weight-decomposed-low-rank-adaptation/