PyTorch

画像生成AI全般で使用されるPyTorch

画像生成AIにおける基幹プログラムの一つ

概要

• 日本語読みは「パイトーチ」。pytouch（パイタッチ）ではない。
• PyTorch は、次の 2 つの高度な機能を提供する Python パッケージです。
  • 強力な GPU アクセラレーションを備えた Tensor 計算 (NumPy など)*1

派生プログラム

関連情報

コード化されてGitHubに公開されているPyTorch

上記を前提にコード化されたもの。

概要

• Python用のライブラリでxFormersが使っている。
  インストールはPython→PyTorch→xFormersの順だが、xFormersのインストール時に一緒にインストールされるはず。
• Pytorch2.0.0以上にするとxFormersが不要となる。現在Pytorch2.0.0はGeForceRTX40XXシリーズ以上が必要（2023/05）

バージョン情報

GitHub公式配布ページ
https://github.com/pytorch/pytorch

バージョンの読み方

• 2つのVer.が表示されている場合がある。下記の場合、PytorchのVer.が1.12.1、CUDAのVer.が11.6であることを示す。

  1.12.1+cu116

• 各PytorchのVer.毎に、利用可能なGPUの計算能力（CUDAやROCmのVer.）が決まっている。具体的には、以下のページに示す組み合わせが選択肢である。
  https://pytorch.org/get-started/locally/
  https://pytorch.org/get-started/previous-versions/
• RADEONのGPUでは、CUDAよりもROCmを使用することになる。PyTorchの最新Ver.は優先的にCUDAのみに対応していることもあるため、RADEON製のGPUが画像生成Aiに使いにくい一因である。

各バージョンで特に重要な情報

インストール方法

• 普通、各プログラムの導入の際にインストールする。下記は一例。
  • sd-scriptsでは、インストール行程で手動でインストールする。インストール方法はGitHub公式で説明有り。
  • Stable diffusion web UIではインストール行程で自動でインストールされる。
• 個別で導入する場合は、

  pip install torch

  バージョンを指定する場合は、さらに「==」を続けてバージョンを追記する。
  ※使用するPythonやpipのバージョンによって変更の可能性があります。

torch: 2.0.0+cu118にアプデする方法のメモ

1. Windowsのエクスプローラで1111のフォルダを開き、パスのとこに「cmd」と入力
   
2. コマンドプロンプトが起動されるので、下記の通り入力

   venv\Scripts\activate

3. 同上。

   pip install torch==2.0.0 torchvision --extra-index-url https://download.pytorch.org/whl/cu118

4. んでこれだけだとtorch2.x環境でxformersを利用できない。必須じゃないけど。もしもxformersを利用したい人はこれ↓も入力

   pip install --pre -U xformers

5. コマンドプロンプトを閉じる。
6. 1111を起動して、ブラウザ下端へスクロールしよう。
   「torch: 2.0.0+cu118」の表示があれば更新成功だ。

(備考)
torch1.13.1+cu117環境に戻したい時は、一旦venvフォルダを削除してから1111を起動する。

リンク

• Pytorch専用ページ
  https://pytorch.org/get-started/locally/

• GitHub公式配布ページ
  https://github.com/pytorch/pytorch

関連ページ

• RADEONグラボにおけるPyTorch Ver.に関する記述
  Nvidia以外のグラボに関して