FramePack

Last-modified: 2025-10-23 (木) 19:52:18

動画生成 FramePack

1枚の画像から1秒～120秒の動画を作成できるローカルAI環境です。
作者は画像生成AI系ではお馴染みのlllyasviel氏。
ビデオメモリ6GBで安定動作する。これまではWebサービス系が主流でしたが、とうとうローカル環境でも動画が現実的となりました。
細かく動かすのが得意。画面全体が動くものは苦手。

導入に必要な環境

  • VRAMが6GB以上のNVIDIA製グラフィックボード（要求を満たせばRTX2000番台でもいける模様）
  • 64GB以上のメインメモリ（32GBや16GBでも仮想メモリを割り当てれば動作します）
  • 約60GBのSSD/HDD容量（実ファイルは45GB程ですが余裕をもって）
    ※FramePackはVRAM（グラボのメモリ）よりもメインメモリの要求が高いことが特徴です。

メインメモリについて
いままでそこまで重要視されてこなかったメインメモリが重要になります。
恐らく16～32GBが主流だと思いますが、お財布と相談してこの機会に64GBに換装するのもアリでしょう。
DDR4タイプなら17,000円、DDR5なら22,000円程から購入できるので、グラボ買うよりはかなりお手軽です。
（相場は2025年4月現在）

生成できるもの

1秒～2分程の動画。
i2v（image to video）形式のため、元になる画像が必要になります。
入力した画像に対してプロンプトで動きをつけるといったかんじ。
なお、AI生成した画像も普通に使えるので自分で生成→FramePackで動きをつけるといった作業の流れが効率的。
NSFWな画像にも対応しているためえっちなのも入力次第。

生成時間の目安

RTX3060/12GB、メインメモリ64GB環境
512×768程の動画サイズ、動画時間3秒を生成するのにで約20分程です。

グラボのグレードが上がれば生成速度は上がる見込み。
動画時間が長くなったり動画サイズが大きくなれば生成速度は下がります。
メモリは必要以上を積んでも高速にならない模様。

2分動画の生成だと丸一日作業になってしまうかもしれません。

導入手順

①下記のサイトにアクセス
https://github.com/lllyasviel/FramePack

②「>>> Click Here to Download One-Click Package (CUDA〇〇 + Pytorch 〇〇) <<<」をクリックして
任意の場所にダウンロード

③ファイルを解凍したら「update.bat」を実行。
「続行するには何かキーを押してください . . .」という表示が出たら何か押してウィンドウを閉じる。

④run.batを実行。初回はモデルDLなどが入るため、1時間程はダウンロードがかかる。
何も動いてないようでもウィンドウは閉じてはいけない。終了するとブラウザが立ち上がり、生成画面が開く。

Colabでの導入手順(FramePack)

下記2ブロックのコードを入れてすべてのセル実行。

# FramePackのインストール
!git clone https://github.com/lllyasviel/FramePack
%cd FramePack
!pip install -r requirements.txt
# FramePackの実行
!python demo_gradio.py --share

Colabでの導入手順(FramePack-eichi)

公式のセットアップガイドの「Google Colabセットアップ手順」を参照

使い方

①「Image」に動画の元になる画像を入れる。
　（画像サイズはソフト側で調整してくれるので気にしなくて良い。アスペクト比も好きな比率で大丈夫。）
②「Prompt」にプロンプトを入力する。日本語は不可。Hunyuan Video形式準拠。
③「Total Video Lengs(Secconds)」に生成秒数を入れる。動作確認なら2秒ぐらいで良い。
④「Start Generation」を押して暫く待つ。

高速化

デフォルトでは導入してくれないxformers等を入れると若干早くなる。下記参照。
https://github.com/lllyasviel/FramePack/issues/138

F1

アップデートでF1モデル版が追加。

  • 最後から最初に向かって逆順生成が特徴だったが普通に生成されるようになった
  • 元のバージョンよりも大胆な動きをつけられるようになった

トラブルシューティング

  • run.bat実行後、モデル読み込んでる途中で「続行するには何かキーを押してください . . .」と出て終了してしまう
    →メインメモリ不足。メモリが増設できない場合はとりあえず仮想メモリを増やせば動きます。ストレージを消費する上に遅くなりますが。
    　（システム→バージョン情報→）システムの詳細設定→パフォーマンス→詳細設定→仮想メモリで、適当なドライブに60000MB(60GB)ほど割り当て（カスタムサイズで初期サイズと最大サイズ両方に60000を入力して設定ボタン押してOKボタン）てWindowsを再起動
  • プロンプトが無視される
    →入力画像とかけ離れている指示は無視されてしまう模様。少しずつ動かしていくのがコツ。派生版では自動でやってくれるものも。

派生改造版