LoRA

■余談
LoRA学習はkohya-ss氏のsd-scriptsがおそらく最も利用者人口が多いのですが、Stable Diffusion web UIでもLoRAの学習は可能です。拡張機能sd_dreambooth_extensionを使用します。

【参考】コマンド解説
PowerShell版を元に説明します。

No.	コマンド(参考）	効果
1	git clone https://github.com/kohya-ss/sd-scripts.git	今開いているフォルダに、GitHubからsd-scriptsコードをダウンロード
2	cd sd-scripts	sd-scriptsフォルダへ移動し、作業フォルダとする。
3	python -m venv venv	作業フォルダ内に名称「venv」の仮想環境を作成する
4	.\venv\Scripts\activate	venv仮想環境を有効化する
5	pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116	venv環境へtorch,torchvisionをインストール
6	pip install --upgrade -r requirements.txt	「requirements.txt」に記載のライブラリをインストール
7	pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl	xformers ver.0.0.14をインストール。依存環境を含まず単独で導入する
8	cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\	bitsandbytesを作業フォルダからvenvフォルダ内へコピー（インストール）
9	cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py	同様にcextension.pyをコピー。
10	cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py	同様にmain.pyをコピー。
11	accelerate config	accelerateを手動で設定する。学習のパフォーマンスに直結する重要項目

導入方法 (2023/04/24更新)
引用: https://github.com/bmaltais/kohya_ss
GUI開発者Bernard Maltais氏のチュートリアル動画: リンク

1. インストール
   ※更新によって導入方法が変わる可能性があるので、実行する前に上記のリンクのreadme.mdを見て最新の手順を確認しよう。
   インストールしたいフォルダでコマンドプロンプトを開いて以下のコマンドを実行。
   最初に導入するライブラリ(torch)のverを回答する。(分からない人は"recommanded"の方を選択する)
   最後の行( accelerate config)が実行されると質問が出てくるので以下のように回答。
   「This machine」「No distributed training」「NO」「NO」「NO」「all」「fp16」
   ※ 選択式の問は、日本語キーボードだと十字キーは使えないので数字キー(1,2,3...)で選択する

   git clone https://github.com/bmaltais/kohya_ss.git
   cd kohya_ss
   .\setup.bat

   コマンドプロンプトを閉じる
2. GUI起動
   インストールしたフォルダに「gui.bat」が出来ているので実行。
   ブラウザで以下にアクセス
   http://127.0.0.1:7860 (デフォルトの場合)

LoRA @ Paperspace

 ##初回のみ
mkdir LoRA

git clone https://github.com/kohya-ss/sd-scripts.git LoRA/sd-scripts
git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git LoRA/LoRA_Easy_Training_Scripts

cp LoRA/LoRA_Easy_Training_Scripts/lora_train_command_line.py LoRA/sd-scripts
 ##

apt update -y
apt upgrade -y
cd LoRA/sd-scripts

 ## 確実に動かしたい人（xformersを使わない場合）
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -U -r requirements.txt

 ## 不安定でも高速化を目指す場合（xformersを使う場合）
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -U -r requirements.txt
pip install -U xformers==0.0.20

accelerate config

20230318版（もし動かないときは「PaperSpaceでkohya版LoRAを動かす方法」のlora_train_command_line.py絡み以外のとこを実行してからやると動くかも）
（現在LoRA_Easy_Training_Scripts/lora_train_command_line.pyがそもそも存在しない為上記の手順では動作しなかった）

LoRA @ Paperspace

 ##初回のみ
mkdir LoRA

git clone https://github.com/kohya-ss/sd-scripts.git LoRA/sd-scripts
git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git LoRA/LoRA_Easy_Training_Scripts

 ##

apt update -y
apt upgrade -y
cd LoRA/sd-scripts

python -m venv venv
source ./venv/bin/activate
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install --upgrade -r requirements.txt
 ## requirements.txtにtoriton居たかも
pip install -U --pre triton
 ## ここまでは頭に ! を付けてJupyterで実行してもいい

 ## 以下Terminalで実行
accelerate config

 ## 最初の実行前に以下Terminalで実行（Terminalを破棄して新しいTerminal起動したときはまた実行）
cd /notebooks/LoRA/sd-scripts
./venv/bin/activate
 ## 実行コマンドをTerminalで実行（全角で説明してる箇所は適宜書き換え。train_batch_sizeは最初1でちゃんと動いたらもっと大きい値にしてもいい）
accelerate launch --num_cpu_threads_per_process 12 train_network.py --pretrained_model_name_or_path=ベースにするモデルのパス(永続ストレージに入れたなら/storage/以下のどこかにある) --train_data_dir=/notebooks/LoRA/Training --reg_data_dir=/notebooks/LoRA/reg --output_dir=学習済みLoRAモデルの保存先DIRパス --resolution=320,960 --train_batch_size=1 --learning_rate=8e-5 --max_train_epochs=10 --save_every_n_epochs=1 --save_model_as=safetensors --clip_skip=2 --seed=36 --color_aug --network_module=networks.lora --keep_tokens=7 --enable_bucket --network_dim=64

あとは学習開始フェーズです
好きなオプションを付けましょう

accelerate launch --num_cpu_threads_per_process 12 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/ACertainty.ckpt --train_data_dir=/notebooks/LoRA/Training --reg_data_dir=/notebooks/LoRA/reg --output_dir=/notebooks/LoRA/testLoRA --resolution=320,960 --train_batch_size=8 --learning_rate=8e-5 --max_train_epochs=10 --save_every_n_epochs=1 --save_model_as=safetensors --clip_skip=2 --seed=36 --color_aug --network_module=networks.lora --keep_tokens=7 --enable_bucket --network_dim=64

学習をモデルから再開する場合

--network_weights

Start from ScratchでNotebooks作成
Advanced optionsにチェックを入れてContainer Nameに以下のカスタムコンテナ名を入力して開始する

cyberes/gradient-base-py3.10:latest

https://github.com/bmaltais/kohya_ss
リンクのあるGoogle colab用ipynbに若干修正
同一のipynb内でセルを区切って実行

!pip install dadaptation==3.1 diffusers[torch]==0.17.1 easygui==0.98.3 einops==0.6.0 fairscale==0.4.13 ftfy==6.1.1 gradio==3.36.1 huggingface-hub==0.14.1
!pip install lion-pytorch==0.0.6 lycoris_lora==1.8.0.dev6 open-clip-torch==2.20.0 prodigyopt==1.0 pytorch-lightning==1.9.0 safetensors==0.3.1 timm==0.6.12
!pip install tk==0.1.0 transformers==4.30.2 voluptuous==0.13.1 wandb==0.15.0 xformers==0.0.20 omegaconf

%cd /notebooks
!git clone https://github.com/TimDettmers/bitsandbytes.git
%cd /notebooks/bitsandbytes
!make CUDA_VERSION=116  #  116 117 118, 環境に合わせる
!export PYTHONPATH=$PYTHONPATH:/usr/local/lib/python3.10/dist-packages
!python setup.py install

%cd /notebooks
!git clone -b v1.0 https://github.com/camenduru/kohya_ss
!sudo apt-get update
!pip install -U albumentations
!sudo apt-get install -y python3.10-tk
!pip install toml
#accelerate

以下の手順を踏まないとビルドされたbitsandbytesが使えないかでエラーになる
SDXLの学習時は必須､SD1.5系の場合はオプティマイザにもよるがやらなくても動く

import os

# 環境変数を設定
os.environ['BNB_CUDA_VERSION'] = '116'
os.environ['LD_LIBRARY_PATH'] = f"{os.environ.get('LD_LIBRARY_PATH', '')}:/usr/local/cuda-11.6/targets/x86_64-linux/lib/"

# ファイルを削除（注意: この操作は元に戻せません）
libcudart_path = "/usr/local/cuda-11.6/targets/x86_64-linux/lib/libcudart.so.11.0"

# ファイルが存在するかどうかを確認
if os.path.exists(libcudart_path):
    os.remove(libcudart_path)
    print(f"Removed {libcudart_path}")
else:
    print(f"{libcudart_path} does not exist")

以下のセルを実行
学習中断時はカーネルのRESTARTをして実行

%cd /notebooks/kohya_ss
!python kohya_gui.py --share --headless