執筆中。編集完了後はLoRAの子階層か、同列の階層に移動する予定です。
概要
まだ先行開発段階の技術。
ReLoRAとは
- 学習データの一つで、
事前学習モデル（例：モデルについて）をLoRAと同じような行程で学習を実行できる。
- 従来のLoRAで作成したデータを、加算しての繰り返しで、事前学習モデルを作る。
- 1B（10億)単位のパラメータの事前学習モデルを作る都合上、LoRAとは比較にならないほどVRAMと時間を使うらしい。
ただ、一般家庭で事前学習モデルを作成できる手段が出来得るという点では有望。
なにせ、今まで著作権の心配をしたり、長いダウンロード時間を掛けてモデルを入手してきたし、モデルを使わないと自前の画像を使った学習すら出来なかったのだから。
導入方法
PEFT_PreTraining
https://github.com/guitaricet/peft_pretraining
それで導入でできるらしいが、まあ動かないか、学習に尋常ではないほど時間がかかるらしい。
としあき達が手に届くになった段階で、上記コードを使っているかは怪しい、
もしかしたら、他のコードを使うことになるかもしれませんので、
まだ導入方法を解説する気力がないです。
このまま亜種プログラムとして終わってしまう可能性もあり。
使い方
参考文献
コメント・指摘・助言
(Tips)
- 既存コメントの先頭にあるラジオボタンをONにすると、そのコメントの下にぶら下げ返信する形になる(ツリー構造)。
- コメントの文中で↵ボタン(下の画像参照)を押すと「&br;」の文字列が挿入される。これは送信後に改行として機能するので、文章の整形に役立つ。
