iPhone/iPad/Macでの生成

Last-modified: 2023-08-24 (木) 17:01:24

・ローカル環境で生成してみたいけどPC持ってないor性能が足りない…でもiPhoneやiPad、Macは持ってるよ、という人向け。

　ローカルで画像生成する環境を構築してくれるアプリが出ています。

Drawthings→https://apps.apple.com/jp/app/draw-things-ai-generation/id6444050820
公式サイト⇒https://drawthings.ai/
開発者のtwアカウント⇒https://twitter.com/drawthingsapp
twアカウントの方で機能説明をしてるので興味があればそちらをチェックしよう。

必要スペック（ストア説明より）
iPhone
iOS 15.4以降、およびA12 Bionicチップ以降を搭載したデバイスが必要です。
iPad
iPadOS 15.4以降、およびA12 Bionicチップ以降を搭載したデバイスが必要です。
Mac
macOS 12.4以降が必要です。

Q.具体的な機種は？
A.iPhone11以降
　iPad（無印）第9世代以降
　iPad mini5以降
　iPad Air４以降
　iPad Pro（11インチ）第一世代以降
　iPad Pro（12.９インチ）第三世代以降
iPadはステージマネージャ対応機種であれば生成中に動画配信を見る、いかがわしい匿名掲示板を閲覧する、古戦場を走るといったマルチタスクが可能。

Q.DrawthingsはStable deffusionとは違うの？
A.Stable deffusionです。
　Stable deffusionをなるべく簡単に扱えるよう作られたアプリ。
　そのためAUTOMATIC1111版と比べ色々絞り込まれているが必要十分な機能は備わっている。

Q.どんな機能があるの？
A.主に以下の機能がある。

  • 好きなモデルを追加
  • 好みのVAEをモデルに当てる
  • モデルのマージ
  • LoRA(LyCORISなどは使用不可)
  • Hires.fix (アプリ内ではHigh Resolution Fixという名称。AUTOMATIC1111版と比べ設定項目は簡略化)
  • Textual Inversion
  • ControlNet (AUTOMATIC1111版と比べ設定項目は簡略化)
  • バッチ機能
  • 簡易画像編集(自動範囲選択・消しゴム・塗りつぶし・画像移動)

導入方法

APPストアのページに行き、インストールする。
インストール終了後起動すると、初回のみモデルデータとしてSD1.5のDL（約2.5GiB）ダウンロードがあるので注意。
DLが終了したら導入完了。

基本的な使い方

iPhone版（後日追記予定）

iPad・Mac版

IMG_1582.jpeg

　①左上のmodelのプルダウンからモデルを選択する。
　②このテキストボックスにプロンプトを入力。
　③このテキストボックスにネガティブプロンプトを入力。
　④Generateボタンをタップ（クリック）すると画面中央にオレンジの四角が並び、徐々に青い四角に変わって行きオレンジが全て青に変わったら生成完了。
　　右側の数字プルダウンメニューで選んだ数だけ連続生成される。
　生成物は画面右側に並ぶので、右下のsaveボタンをタップ（クリック）すればストレージ（デフォルトでは写真フォルダ）に保存される。

具体的な使い方

モデルの追加方法

  • modelのプルダウンメニュー一番上に「manage」という項目（右側にスパナの画像）があるのでそれを選択すると、以下のメニューが登場する。
IMG_1584.jpeg
  • インポート済みのモデルには矢印（エクスポート）とゴミ箱（削除）のアイコンが右側にある。
    　アプリ側で用意しているモデルは雲のマークがついており、選んでダウンロードもできるが、基本的には一般的な画像向けで、二次元絵向けのモデルは2種類ぐらいしかない。
    　huggingfaceやcivitaiから導入したい・ダウンロードしている場合は①の下向き矢印のアイコンをクリックすると、メニューが以下の画像のように切り替わる。
IMG_1583.jpeg
  • 「downloaded files」のプルダウンメニュー内にある「Enter URL」をタップ（クリック）するとURL入力欄が出るので、入力すると直接DLが始まる。
    　「Select from Files」でフォルダを開き、すでにダウンロード済みのファイルを選択してもインポートできる。
    　「Model Name」はプルダウンメニューに表示するモデル名を決められる。自動で入力されるが長ったらしい場合やわかりやすくしたい場合は変更可能。
    　これ以降の項目は特にいじらず、メニュー右下の「Imbort Custom Model」を選択するとモデルのインポートが始まり、成功すればsuccessの表示が出る。
    　（他の項目について詳しい方いれば、追記お願いします）
  • Custom Variation Autoencoderについて
    　モデル追加時に好みのVAEを当てるための機能。
    　よくわからない時はモデル追加時ここは触らないでOK。
    　生成した画像の色味がなんか薄いな？と感じたときにkl-f8-anime2など彩度の高いVAEを指定して再度モデルを入れ直そう。
    　(Drawthingsは一度入れたモデルに後からVAEを当てることはできないので再度モデル追加作業をする必要がある。)

なおメニュー右下の丸が３つのアイコンをクリックすると「Model Mixing」というメニューになる。
おそらくマージが可能と思われるがよくわからないので詳しい方追記お願いします。

LoRAの追加方法

  • モデルと同様プルダウンメニューの「Manage」を選択し、出てきたメニューから「Downloaded File」のプルダウンメニュー内の
    　「Enter URL」をタップ（クリック）するとURL入力欄が出るので、入力すると直接DLが始まる。
    　「Select from Files」でフォルダを開き、すでにダウンロード済みのファイルを選択してもインポートできる。
    　LoRAプルダウンメニュー右の赤い「＋」マークをタップ（クリック）するとプルダウンメニューが増えて、LoRAを複数選択できるようになる。

Controlの追加方法

  • Controlは2023年5月現在任意の物を追加することはできない。基本的なものは揃ってるので、適宜ダウンロードして利用しよう。
    　LoRA同様赤い「＋」をタップ（クリック）して複数導入できる。

t2i/i2i切り替え

  • 「Text to Image」と「Image to Image」を切り替えられる。
    　i2iのみ上の「Strength」バーで強度を調整できる。
    　イメージ画像は右下のカメラマークをクリックして追加する。

Seed値

  • 数字部分をタップ（クリック）するとランダムで数字が切り替わる。
    　ロングタップ（クリック）で任意の数字を入力可能。

Seed Mode

  • Legacy
    　旧バージョンのDrawthingsと同じSeed値システムにする。
    　新規ユーザーがこれを選ぶ意味はないので不使用推奨。
  • Torch CPU Compatible
    　Seed値がAUTOMATIC1111(WebUI)版などと共通になるモード。
    　他環境で同じものを作りたい時や、他の人のプロンプトを拝借して試したいときに。
    　ただしプラットフォーム・GPUの違いからか各種設定値を同一にしても他環境と完全に同じものは生成できない模様。
  • Scale ALike
    （後日追記予定）

Image Size

  • プルダウンメニューから生成する画像サイズを選択できる。SoCの性能で上限が変わるので注意。

Upscaler

  • 生成した画像をアップスケーリングするモデルを選ぶ。2023年5月現在、アプリ側で用意されたスケーラーしか使用できない。
    　DrawthingsではImage Sizeの設定サイズで生成しUpscaler処理でそれを拡大するという工程になっている。
    　後述のHigh Resolution Fixでのサイズ設定は最終画像サイズとは無関係なので注意。
    　なおアップスケーリングは後からでも可能なので生成時に必ず選ぶ必要はない。
    　アプリ画面右の生成履歴から画像を選択しアプリ画面下部のPresetsから処理を選べばOK。

Steps

  • 画像生成時のステップ数を変更できる。ステップ数が多いほど緻密になるが、生成時間も伸びる。
    　ドラッグで変更できるが細かく調整するのが難しい。
    　右の数字部分をタップ（クリック）すると1ずつ増えるので微調整する時はこっちを使おう。
    　設定値は20を基準に調整するのがお勧め。

Text Guidance

  • 数字を大きくするほどプロンプトに従うようになるが、サンプリングが限定されるのか画質が低下する。
    　逆に数字を小さくするとプロンプトから外れた描写が増えるようになるが、サンプリングが増えるため画質が良くなることがある。
    　AUTOMATIC1111版でいうCFG Scale。大体のモデルで5~10の間が推奨値。

Sampler

Clip skip

  • Clip skipの機能説明はリンク先を参照。
  • 基本的なModelを使用する場合は1、追加学習などが多いmodel使用時は2くらいのイメージでいい。（と思う…）

Mask Blur

  • inpaintingやoutpainting使用時、数字が大きいほど境界線がボケる。

Face Restration

  • AUTOMATIC1111版のRestore facesと同じ機能。二次元絵に向かないのも同じ。
    　項目下の説明文にもご丁寧に実写イメージ向きで、アニメや絵画には向かないよと書かれている。

Batch Size

  • 1回の画像生成で何枚出力するかの設定、SoCとメモリ量で出せる枚数が変わる。
    　生成中にマルチタスク処理で負荷がかかると生成画像に悪影響が出て画像が富山から送られてくるので注意。
    IMG_0880.jpeg

High Resolution Fix

AUTOMATIC1111版でいうHires.fix
（よくわかっていないので後日追記予定）

Save Generated Images to

  • 選択したフォルダに自動的に生成画像を保存するかどうか。
    　ストレージに余裕のない端末を使用していたり、画像整理がめんどくさい場合はDisabled推奨。

Textual Inversion

  • easynegativeやbadhandといったTextual Inversionを導入できる。
    　青い「Manage…」ボタンをタップ（クリック）するとLoRAと同様のメニューが開くので、
    　基本的なモデルのDLか任意のファイルをダウンロードしたものを選択して、
    　リストに表示される名前とプロンプトのキーワードをセットして「Imbort Textual Inversion」をタップ（クリック）してインストール。
    　インストールしてもプロンプトの欄にキーワードを入力しないと機能しないので注意。

プロンプト入力欄の機能

IMG_1689.jpeg
  • ①　プロンプトの文章の全選択
  • ②　tidy up プロンプト内で二重になっているスペースを整理してくれる。,は整理してくれないので注意。
  • ③　ロングタップ（右クリック）でTextual Inbersionで導入したNegative embeddingなどのキーワードを自動で打ち込んでくれる。
    　　　プルダウンメニューが出てくるので必要なのを選んでタップ（クリック）する。
  • ④　プロンプトの文章の先頭へカーソルを移動させる。
  • ⑤　プロンプトの文章の末尾へカーソルを移動させる。
    　　　
    プロンプト入力枠の上にある青いスライダーは入力順をUndo / Redoしてくれる。

生成画像について

IMG_1693.jpeg
  • Generateを押して生成が終わると画面中央に生成された画像が大きく表示される。
    　batch sizeで複数生成した場合やcountで枚数指定した場合は、画像の右側に小さくサムネイルで指示された分の画像が列挙される。
    　このサムネイル画像部分はそれまで出力した画像の履歴を兼ねており、ロングタップ（右クリック）してdeleteを選択しない限りずっと残る。
    　後述するprojectファイルとして一式セットで自動保存されており、調子に乗って大量生成するとストレージを圧迫するので注意。
  • サムネイルをタップ（クリック）すると、その画像を生成したときの設定とSeed値が復元される。
    　
  • 左下のprojectボタンをタップ（クリック）すると新規プロジェクト作成、リネーム、エクスポート、ロードを選択できる。
    　削除したい時はフォルダから直接削除しよう。

Inpainting

（後日追記予定）

導入に際しての注意点

  • ページ冒頭でも触れたが、高価なPCを購入する前に手持ちのデバイスでローカル生成環境を構築して試したいという場合向け。
  • 2023年5月現在の環境では、CUDAコアを用いたNVIDIA製グラフィックボードを利用する環境が主流。
    　このためわからないことをスレやネット上で質問したり情報を探そうにも、利用者が少なく情報量も相対的に少ない。