ComfyUI

このアプリについて

概要

• 画像生成アプリの一つで下記のGitHubで公開されている。
• SSDの容量に余裕があればAUTOMATIC1111と同時導入も可能なので試してみる価値はありますぜ
  https://github.com/comfyanonymous/ComfyUI

特徴

• ノード接続によるワークフロー形式のGUIが特徴
  • この形式は、処理の流れを可視化しやすい。
  • ただし、ノードが増えるにつれ煩雑な画面になってしまうので自分であれこれ整理する必要がある

AUTOMATIC1111との比較

メリット

• VRAM消費量が低いのでVRAMが少ないグラボでも使いやすくVRAMが多いグラボなら大きな画像も出しやすい
• VRAMが8GB程のグラボでもSDXLを使うことができる（但しそれでもできれば12GB欲しい）
• 生成が1111に比べればコンマ数秒程は高速
• インストールだけは非常に簡単（下記導入方法参照。拡張機能以外はコマンドプロンプトを使わない）

デメリット

• 一般感覚でかなりわかりにくいUI
• 拡張機能が少ない（といっても数百ぐらいはあるし基本的な拡張機能は1111と似たようなものはある）
• 日本語ドキュメントが少なく初心者には厳しい

搭載機能

このアプリでできることは下記の通り

• 画像生成
  • Prompt (Positive,Negative)
• Model
  • checkpoint (v1.x,SDXL可）
  • VAE
  • LoRA
• 拡張機能
  • ControlNet

導入方法

• インストーラ
  • NVIDIA製GPU、かつWindowsであれば、これをダウンロードする。
    https://github.com/comfyanonymous/ComfyUI#direct-link-to-download
    その後、7zファイルを解凍する。
  • それ以外
    https://github.com/comfyanonymous/ComfyUI#installing
    に従ってダウンロードする。
• ダウンロード後は、
  READMEに従って、batファイルを実行する。

使用方法

起動方法

ComfyUI_windows_portable フォルダにある run_nvidia_gpu.bat を起動

起動

1.最初に表示される画面

正しく起動できれば、ブラウザ画面にこのように表示される。
ブラウザのズームは100%でない場合、正しく動かないことがあるので注意！

2.機能説明

プラグイン

ComfyUI Manager

おすすめ
プラグインを使う人は初めにインストールしておくと便利です。Managerメニューから他のプラグインをダウンロード、インストール等ができます。
これでdanbooru語のオートコンプリートも使えるようになるのでスペルミスも減らせる。
https://github.com/ltdrdata/ComfyUI-Manager
インストール方法は、comfyui/custom_nodesフォルダで git clone https://github.com/ltdrdata/ComfyUI-Manager.git

ComfyUI-Custom-Scripts

タグのオートコンプリート、グラフの自動配置やグリッドスナップ等々便利な機能をひとまとめにインストールできるスクリプト。
上のManagerが入っていれば、Managerボタンを開いたメニューのInstall Custom Nodesから検索して出てくるのでInstallボタンを押せばOK。
インストール後にオートコンプリートを有効にするには、歯車を押してText AutocompleteメニューのManage Custom Wordsボタンをクリック。
その後のメニューでそのままLoadボタンを押してSave!を押せばdanbooru語で補完されるようになる。

TIPS

Web UIのモデルデータを使いたい

Web UIにあるモデルデータ等を読み込む方法です。モデルデータを共用出来るので便利。

• ComfyUI_windows_portable\ComfyUI\extra_model_paths.yaml.example のファイル名を extra_model_paths.yaml に変更
• extra_model_paths.yaml をメモ帳等で開いて6行目のパスをWebUIの場所に変更
  6: base_path: C:\stable-diffusion-webui
  
  

xFormers

2023/10/8以降のバージョンではpython 3.11 with pytorch 2.1 cu121が使用されxFormersが不使用になったようです。1080tiで導入しても生成時間が変わりませんでした。
https://comfyanonymous.github.io/ComfyUI_Blog/comfyui/update/2023/10/08/Weekly-update.html

プロンプト入力欄の文字を見やすくしたい

ComfyUI\web\user.cssに次の文字列を書き込んで、ComfyUI上でスーパーリロード（Ctrl+Shift+R）をすると反映される。
フォントサイズを大きくすれば、文字サイズも大きくなるがノートノードの文字なども大きくなるので注意。

.comfy-multiline-input {
  font-family: "Segoe UI";
  font-size: 12px;
}

ノード作るとか面倒なのでなんとかしてよ

まず、ComfyUIをインストールして起動し、ComfyUI Managerをインストールするとこまでは自力でなんとかする。して。
ここまで終わったら、下のファイルをダウンロードして、ComfyUIの画面にドラッグ＆ドロップする。
t2i_i2i.json

そうすると、出来合えのワークフローが出てくる（真っ赤だと思う）ので、ここまでできたら、メニューからManager->Install Missing Custom Nodesを押して、出てきたやつを全部Installする。
Install後は再起動しろと言われるので、ComfyUIを再起動して開き直せばT2IとI2Iのシンプルなワークフローが使えるはず。

あとは適当にプロンプト入れてQueue Promptを押してしばらく待てば生成されます。
右下側にある紫なやつは無効化してる機能で、使いたい場合はクリックしてCtrl+Bを押せばOK。

としあきのコメント