T5-XXL

概要

• Text Encoderの一つ。
• 開発元はGoogleであり、自然言語処理モデル「T5」シリーズの最大クラスに位置するモデルが、T5-XXL。
  2019年発表の論文にて、その存在が示された。
• アーキテクチャはTransformerベースのEncoder-Decoder構造を採用している。
  あらゆるNLPタスクを「テキストからテキストへの変換」として統一的に扱う点が特徴。
• パラメータ数は11B（約110億）にのぼり、T5シリーズの中でも最大規模を誇る。
  Small、Base、Large、XLに続く、最上位のモデルサイズという位置づけである。
  • これは画像生成AIユーザーとしては大き過ぎた。
    そのため、例えば、SD3やFLUX.1ではDecoderを除外してEncoder部分のみ（約47億パラメータ）を採用する等の工夫で軽量化が図られた。
• 学習方式はC4(Colossal Clean Crawled Corpus)と呼ばれる大規模テキストデータセットでの事前学習であり、その後各種タスクに応じたファインチューニングが可能である。
• 用途・特徴としては、翻訳、要約、質問応答など幅広いタスクに対応できる汎用性の高さが挙げられる。
  モデルサイズが大きい分、高精度な出力が期待できる一方、計算資源の要求も大きくなる。

公式情報

• 公式モデルカード・配布ページ
  • T5 v1.1 XXL
    FLUX.1やSD3.5などで採用されているT5-XXL
    https://huggingface.co/google/t5-v1_1-xxl
    ※改良版であるv1.1のXXLモデル（約110億パラメータ）
  • 初代 T5-11B
    https://huggingface.co/google-t5/t5-11b
    初代T5におけるXXL相当（11 Billion）のモデルカード

• 公式ソースコード・論文
  • google-research/text-to-text-transfer-transformer
    https://github.com/google-research/text-to-text-transfer-transformer
    T5の元リポジトリ。最新のコードベースはJAX/Flax版の T5X へ移行している
  • 原著論文（arXiv）
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
    https://arxiv.org/abs/1910.10683

関連項目

• Text Encoder