T5-XXL

Last-modified: 2026-07-25 (土) 19:40:10

概要

  • Text Encoderの一つ。
  • 開発元はGoogleであり、自然言語処理モデル「T5」シリーズの最大クラスに位置するモデルが、T5-XXL。
    2019年発表の論文にて、その存在が示された。
  • アーキテクチャはTransformerベースのEncoder-Decoder構造を採用している。
    あらゆるNLPタスクを「テキストからテキストへの変換」として統一的に扱う点が特徴。
  • パラメータ数は11B（約110億）にのぼり、T5シリーズの中でも最大規模を誇る。
    Small、Base、Large、XLに続く、最上位のモデルサイズという位置づけである。
    • 一般ユーザーとしては大き過ぎるため、ユーザーから敬遠される一因を生んだ。
      • 例えば、SD3やFLUX.1普及の足枷となった。一方、Lumina-ImageではEncoder部分のみを採用する等で対処されることとなった。
  • 学習方式はC4(Colossal Clean Crawled Corpus)と呼ばれる大規模テキストデータセットでの事前学習であり、その後各種タスクに応じたファインチューニングが可能である。
  • 用途・特徴としては、翻訳、要約、質問応答など幅広いタスクに対応できる汎用性の高さが挙げられる。
    モデルサイズが大きい分、高精度な出力が期待できる一方、計算資源の要求も大きくなる。

公式情報

関連項目