Text Encoder

概要

Text Encoderとは何か。

簡単に言うと？

• Text Encoderとは、
  ざっくり言えば、唱えた呪文を画像生成モデル（絵師さん）が理解できる形式に変換し、こういう絵にしてほしいと通訳を行う場所になります。
  • 例えば「1girl,loli,at computer,」でコンピューターへ向かうロリっ娘を出してもらおうとした時に通訳次第ではその内容が変化します。

特徴

構造

• SD系ではCLIPが採用されています
• 比較的最近の自然言語言語に強いファイルサイズがやたらデカいテキストエンコーダは、フル版であれば会話もできる本格的なLLMも使われていることがあります。FLUX.1のT5-XXL、Qwen-VLなど。
  • プロンプトの通りとかが気になる人はちょっとお話してみるといいかも？　Qwen-VLは脱獄文でNSFW通るし
  • FLUX.1のT5-XXLやQwen-VLのようなLLMはそれ自体のパラメータ数がSDXL系の画像生成モデルより多いので、少なくともしばらくのうちは画像生成モデル本体に埋め込めるサイズではありません。SD1.5はパラメータ数1B、SDXLでも3.5Bだが、T5-XXLは11Bもある。画像生成モデル（U-Net拡散モデル）はAIに都合がいいノイズ拡散過程を扱っているので、この世のすべての言葉を理解するよう強いられているLLMよりコンパクトなのです。
    • と思っていましたが、最近のAIO（All in One）モデルでは10GB近いLLM系テキストエンコーダを焼き込んであるものも見受けられます。デカくてもひとまとめにしたほうがお手軽という判断のようです。

• 一般的に、LLMは同シリーズ・同世代であってもパラメータ数の異なる複数のモデルが提供されることが多いですが、
  画像生成モデルはその中の特定のパラメータ数のモデルに依存しており、それ以外のモデルをテキストエンコーダとして使うことはできません。
  従って、TEの脱獄モデルへの差し替えなどについては同じパラメータ数のモデルを選ぶ必要があります。

画像生成AIで使われている場所

引用：としあき自作

モデル一覧

世代別一覧

拡散モデルなどに比べるとTextEncoderのバリアントは少ないため、世代毎におおまかに分類しました。

個別モデル説明

主要なモデルの簡単な説明

CLIP ViT-L

• OpenAIが開発したテキストと画像の対応関係を学習した軽量エンコーダー。StableDiffusionシリーズ初期から用いられ、基本的な単語単位の概念抽出を担う。
  後続モデルにおいても基礎的な概念把握や低次特徴の抽出用として継続して併用される。
• 別名として「CLIP-L」または「clip_l」という通称が使われる
• 登録されているトークンが適当で、「wwe」といったスポーツ団体名や、「À」「😁😁😁」のような「いつ使うんだ」みたいな無駄な情報が多く、洗練されていない。

OpenCLIP ViT-bigG

• LAION等によって学習された巨大なオープンソースCLIPモデル。単語レベルの認識精度やスタイル表現力を補強するために併用される。
• 別名として「CLIP-G」または「bigG」という通称が使われる。
• 登録されているトークンは、CLIP ViT-Lと同一

T5-XXL

• Googleが開発した大規模言語モデル。
• 巨大なパラメータ数を活かし、複雑な自然言語の構文理解、空間配置の指示、文字描画の精度を支える。
• CLIP-L/Gよりも最大トークン長が長くなったため、「左に赤いリンゴ、右に青いバナナ...」のような長いキャプションが続いても、チャンク切断による分離がされにくくなり、修飾関係や指示を取りこぼしにくくなった。

Qwen3*2

• Alibabaが開発した大規模言語モデル。
• 思考モードの切り替えにより推論精度を高められる点が特徴で、その高い言語理解力を活かして複雑なプロンプトの解釈や指示追従性を支える。
• トークンの量・質ともに、T5-XXL以前よりも充実化。
• アジア語にも対応し、日本語キャプション対応の基礎を築いた。
• LLMとしての最大トークン長は32768あるが、TEへの入力はともかく画像生成モデル側へ渡せる埋め込みの最大長は画像モデル依存でもっと短い。

Qwen3-VL

• Qwen3をベースに視覚理解を追加した視覚言語モデル（VLM）。
• 複雑な文脈や詳細な空間指示、画像とテキストの緊密な対応関係を解析する。
• 参照画像をテキスト入力とともに処理できるようになったため、新たにImage-Edit機能が使用できるようになった。

スペック比較

各テキストエンコーダーの特性や対応能力を整理した表です。

✓：対応
△：対応するが問題有り
ー：非対応

コメント・指摘・助言

(Tips)

• 既存コメントの先頭にあるラジオボタンをONにすると、そのコメントの下にぶら下げ返信する形になります(ツリー構造)。
• コメントの文中で↵ボタン(下の画像参照)を押すと「&br;」の文字列が挿入されます。これは送信後に改行として機能するので、文章の整形に役立ちます。