過学習

概要

• 英語では「Over fitting」。
• 学習を行った際、特定の要素、特定の箇所が過剰に変化してしまうこと。
• 過学習という状態の判断及びそのしきい値は、人に視覚的判断によるものであるため、正確な定義はない（論文等にはあるかもしれないが、当wikiで話し合う範疇においては。）
• 数学的に「過学習」を説明することも可能だが、当wikiではもっと体感的に「変化し過ぎた状態」的にファジーな表現で使用している。
• 多くの場合、学習を長いstepで、高い学習率で行った場合に再現しやすい。
  • 発散（loss=NaN状態）は、過学習の延長線上で発生するもの。過学習の形態の一つかは不明。
  • 大きなハンチング（ちょっとした入力の違いによって結果が大きく変わる状態）は、機械学習全般において「過学習」と呼べる。
    このタイプの過学習は、生成した画像内の見た目に一貫性がなくなるという点で、体感しやすい。
• 過学習そのものは、理想からすると好ましくない事態ではあるが、
  学習しにくいある一部の特徴（例えば、画風、スタイル等のうち一つ）を完璧に覚えるためには、かつ適切な過学習対策を取れない場合には、過学習せざる得ない状況がある。
  よって、ユーザーによっては実用上、「あえて過学習して、学習データを使用する際に適用倍率を１未満に下げる」使い方をすることもある。

過学習ギャラリー

過学習とはどんな状態か？
文字での説明だとわかりにくいので、参考画像を載せます。

'23/10/27執筆時点では、以下のフォームを作っただけです。
もし、典型的な事例を見つけたり、スレ等で意見がわかれるようならその体系化のために、画像を掲載するといいでしょう。
体型化ができれば、関連する課題への対処もしやすくなるでしょうから。
（するまでもないなら、それに越したことはない。）

〇〇タイプ