bitsandbytes

GitHubで公開されているライブラリとしてのbitsandbytes

概要

• GitHubページ：https://github.com/TimDettmers/bitsandbytes
• 略語は「bnb」
• sd-scriptsで学習する際、8bitオプティマイザーを使うときに必須なライブラリ。
  bits and bytesの名の通り、fp32から品質を落とさずに軽量な8bit行列に変換するのに使う。

• 混合精度分解を使用した 8 ビット行列乗算
• LLM.int8() 推論
• 8 ビット オプティマイザー: Adam、AdamW、RMSProp、LARS、LAMB、Lion (メモリを 75% 節約)
• 安定した埋め込み層: 初期化と正規化の改善により安定性が向上しました。
• 8 ビット量子化: 分位数、線形量子化、および動的量子化
• 高速分位値推定: 他のアルゴリズムより最大 100 倍高速
   
  背景論文：https://arxiv.org/abs/2110.02861

バージョン情報

※降順表示

0.41.1

• sd-scriptsでは'23/10/2現在このバージョンが推奨されている。
  オプション扱いなので、該当するオプティマイザーを使わない場合は、インストールしなくても良い。
• sd-scriptsのfull_fp16オプションを使う場合は、
  このVer.以降を使用する必要がある。

0.36～0.41.0

sd-scriptsにおいて不具合報告*1があり、回避推奨

0.35

sd-scriptsで使われていたバージョン。