fine tuning

Last-modified: 2023-09-29 (金) 19:45:19

学習関係の用語の一つ。文脈によって意味が変わる用語です。
「ファインチューニング」と読む
モデルを学習して微調整することを指します。

もっとも広義のfine tuning

  • 「ファインチューニング」と読む。「微調整」の意味。
  • 一般的なアプリでは、「より細かなチューニング」「詳細設定」を示していることもある。

広義のfine tuning

  • 「学習全般」を指す。
  • 広義のfine tuningは、LoRATextual Inversion、Hypernetworksなどを含み、モデルを学習することすべてを含みます。*1
  • 事前学習モデルに、各学習毎のパラメータとして「ウェイト」を加算し、このウェイトを調整する行為を指します*2
    わかりやすく言うと、事前学習モデルがある分、大規模な「調整」はしなくてよくて、ウェイト計算だけの「微調整」で済むというイメージ。

狭義のfine tuning、手法を表すものとして

  • 具体的な手段として、fine tuning手法」を表す意味です。
  • Stable Diffusionの場合、モデルを画像とキャプションで学習することです。
  • sd-scriptsでLoRAの学習をする際、LoRAのfine tuning方式と呼ぶことがありますが、モデルを学習対象に含めないという点で上記の例とは少し異なる概念です。しかし、fine tuning=微調整という点で、sd-scriptsではこの表現を使っているそうです。
    参考→LoRA/学習方法

さらに狭義の、ツールの一つとして

概要

  • sd-scriptsにおける「fine_tune.py」がこれに該当します。