蒸留

Last-modified: 2023-11-11 (土) 19:03:23

モデル転用の手法

概要

  • 蒸留。英語では「distilling」
  • ふわっとした解釈で説明すると、
    • 手順１：diffusersで事前学習モデルに加えて、LoRA等の追加モデルをうまく重ねて生成を実施する。
    • 手順２：生成されたデータから、自分が「これだ」と思うデータのみを抽出する。
    • 手順３：抽出したデータを、さらにLoRA等の追加モデルへの学習等に使用する。
  • 「蒸留は、新しいモデルを使用してソース モデルからの出力を複製しようとするトレーニング手順の一種です。」
    引用：https://huggingface.co/blog/lcm_lora