トークン

Last-modified: 2023-08-20 (日) 23:40:22

画像生成における暗号(?)の最小単位のこと。

「I am Toshiaki.」というプロンプトがあったとすると、
画像生成時には、例えば「I」「am」「Tosh」「iaki」「.」という５つのトークンに分かれる。

上記の例は、あくまでイメージであって、
実際の分割のされ方は、プログラムによって異なる。

仮想通貨における「トークン」や、パスワード認証に使われる「トークン」とは無関係。