技術の木

ノードって何?ComfyUI入門|Forgeの次に触るローカル画像生成AI(RTX 3060 12GB)

スポンサーリンク
スポンサーリンク

はじめに

前回の記事では、グラボなしのミニPC「UM350」と、GeForce RTX 3060 12GBを搭載したFRONTIERのPCで、ローカル画像生成AIがどこまでできるかを整理しました。

※前回の記事はこちらです。
https://www.kuripapa.com/wp/local-image-ai-um350-vs-rtx3060/1038/

その締めくくりで「次はComfyUIが気になる」と書いたのですが、実際にFRONTIERの方へComfyUIを入れて触ってみました。

ComfyUIは、Forgeのような「完成した画面」を操作するのではなく、「ノード」と呼ばれる部品を線でつないで処理の流れ(ワークフロー)を自分で組むタイプの画像生成環境です。最初は取っつきにくそうに見えますが、公式のテンプレートを使えば、インストールしたその日にSDXLの画像を1枚出すところまでは意外とあっさりたどり着けました。

この記事では、ポータブル版のインストールから初回生成までの手順を、実際につまずいた点も含めてまとめます。これからComfyUIを触ってみたい方の参考になればと思います。

ComfyUIとは

ComfyUIは、Stable Diffusionなどの画像生成モデルを「ノードベース」で扱う実行環境です。

Forge(Stable Diffusion WebUI系)では、プロンプトを入力して「生成」ボタンを押すと、裏側で決まった処理が一括で実行されます。一方のComfyUIでは、「モデルを読み込む」「プロンプトを数値に変換する」「ノイズから画像を生成する」「画像として書き出す」といった処理が部品(ノード)として見える形で並んでいて、それを線でつないだものがそのまま処理の流れになります。

たとえるなら、Forgeが「完成した操作パネル」で、ComfyUIは「中身が見える配線盤」です。配線盤と聞くと難しそうですが、裏を返せば「処理の途中を差し替えたり、間に別の処理を挟んだり」が自由にできるということでもあります。

Forgeとの違い

項目 Forge(WebUI系) ComfyUI
操作の考え方 決まった画面に値を入力する ノードをつないで処理を組む
自由度 画面にある機能の範囲内 高い(処理の追加・差し替えが自由)
VRAM効率 標準的 必要な部分だけ読み込むため効率が良い
初回の分かりやすさ 分かりやすい 最初は戸惑うが、テンプレートで始められる
向いている人 まず画像を出したい人 仕組みを理解して工夫したい人

どちらが優れているという話ではなく、入口はForge、中身を触りたくなったらComfyUI、という住み分けだと思います。今回は「Forgeの次に触る」という位置づけで進めます。

今回の環境

項目 内容
PC FRONTIER(ゲーミングPC)
CPU Intel Core i5-10400F
メモリ DDR4 SDRAM 32GB
GPU GeForce RTX 3060 12GB
ComfyUI Windowsポータブル版(NVIDIA用)
モデル SDXL Base 1.0(sd_xl_base_1.0.safetensors)

手順1:ポータブル版をダウンロードする

ComfyUIの入れ方は大きく分けて、公式のDesktop版、Windowsポータブル版、手動インストールの3つがあります。公式は通常の利用にはDesktop版を勧めていますが、今回は「フォルダごとで完結して、消したくなったらフォルダを消せば済む」ポータブル版を選びました。

ダウンロードは公式GitHubから行います。トップページではなく、READMEの中に直接リンクがあります。

1. 公式リポジトリを開く

GitHub - Comfy-Org/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.
The most powerful and modular diffusion model GUI, api and b...

2. ページを下にスクロールして、見出し「Windows Portable」を探す
3. その中にある「Direct link to download (nvidia)」が、NVIDIA用ポータブル版の直接リンクです。ダウンロードされるファイル名はこちらです。

ComfyUI_windows_portable_nvidia.7z

ファイルは7z形式で圧縮されています。展開には7-Zipを使うか、最近のWindowsであればエクスプローラーの右クリックから展開できます。うまく展開できない場合は、ダウンロードしたファイルのプロパティを開き、「ブロックの解除」にチェックを入れてから試してみてください。

手順2:展開して起動する

展開すると「ComfyUI_windows_portable」というフォルダができます。起動は、この中にあるバッチファイルを実行するだけです。

run_nvidia_gpu.bat

実行すると黒いコマンド画面が開き、しばらくするとブラウザが自動で立ち上がって、次のアドレスのComfyUI画面が表示されます。

http://127.0.0.1:8188

注意点が1つだけあります。黒いコマンド画面はComfyUI本体そのものなので、使い終わるまで閉じないでください。閉じるとComfyUIが終了します。

手順3:最初の画面は「空っぽ」が正解

ここが最初につまずいた点です。起動直後の画面には、ノードが1つも表示されていません。真っ黒な格子状のキャンバスだけが表示されます。

ComfyUI起動直後の画面。ノードが何もない空のグラフが表示される

昔の画面イメージで「最初からデフォルトのワークフローが並んでいる」と思っていたので一瞬戸惑いましたが、今のComfyUIは「テンプレートや保存したワークフローを自分で読み込む」作りになっています。

テンプレートは、次の場所から開きます。

1. 画面左端のアイコンメニューの一番下にある「テンプレート」を選ぶ
2. テンプレート一覧が開くので、検索窓に「SDXL」と入力して絞り込む
3. 「SDXL1.0:テキストから画像へ」を選ぶ

なお、検索結果には「SDXLシンプル」というテンプレートも出てきます。名前はシンプルですが、中身はBase(下書き)とRefiner(仕上げ)の2つのモデルを使う2段構成で、最初に触るには少し複雑でした。初回は「SDXL1.0:テキストから画像へ」の方が素直な構成です。

手順4:不足しているモデルをダウンロードする

テンプレートを読み込むと、画面右側に「セットアップが必要です」という案内が出て、「不足しているモデル」として次のファイルが表示されます。

SDXL1.0テンプレートを読み込んだワークフローと、不足しているモデルの案内

sd_xl_base_1.0.safetensors(約6.46GB)

これはSDXLの公式モデルです。「ダウンロード」ボタンを押せば入手できますが、私の環境では自動で所定の場所に入らず、ブラウザの通常のファイル保存ダイアログが表示されました。同じ表示になった場合は、保存先としてComfyUIのモデル置き場を明示的に指定してください。

ComfyUI_windows_portable\ComfyUI\models\checkpoints

ファイル名は変更せず、そのまま保存します。間違えて通常の「ダウンロード」フォルダに保存してしまった場合も、後からエクスプローラーでこのフォルダへ移動すれば大丈夫です。

配置が終わったら、ComfyUIの画面に戻り、右側パネルの更新(円形の矢印)アイコンを押します。「セットアップが必要です」の表示が消えれば、モデルの認識は成功です。

読み込まれたワークフローを眺めてみる

テンプレートのワークフローは、左から右へ処理が流れる構成になっています。ノードの役割は次のとおりです。

ノード 役割
チェックポイントを読み込む モデル(今回はSDXL Base)を読み込む
Positive Prompt/Negative Prompt 描きたい内容/描いてほしくない内容を文章で指定する
Empty Latent 生成する画像の大きさ(今回は1024×1024)を決める
Kサンプラー ノイズから画像を生成する中心の処理。ステップ数やCFGなどを指定する
VAEデコード 生成途中のデータを、目に見える画像に変換する
画像を保存 完成した画像を表示し、ファイルとして保存する

Forgeでやっていたことを分解すると、だいたいこの部品に分かれる、という見方をすると理解しやすいと思います。

今回のKサンプラーの設定は、テンプレートの初期値で次のとおりでした。

項目 値
ステップ数 25
CFG 7.0
サンプラー名 dpmpp_2m
スケジューラ karras
ノイズ除去 1.00
画像サイズ 1024×1024

手順5:まずテンプレートのまま1枚生成する

初回は、プロンプトも設定もテンプレートのまま実行してみます。Positive Promptには、白い空間に立つ大理石の彫像を指定する、次の文章が最初から入っていました。

a giant classical marble statue standing alone in a pure white empty void, soft diffused lighting, subtle shadows, surreal, minimalist, fine art photography, quiet atmosphere, sense of scale

画面右上の青い「実行する」ボタンを押すと、ノードが順番に処理されていき、最後に「画像を保存」ノードへ生成結果が表示されます。

結果は、プロンプトどおりの白い大理石像の画像が出力されました。所要時間は、画面右上のジョブキュー表示で22.33秒でした(初回はモデルの読み込みも含まれるため、参考値として見てください)。生成されたファイルは、次のフォルダに保存されます。

ComfyUI_windows_portable\ComfyUI\output

手順6:プロンプトを変えて2枚目(猫のキャラクター)

動作確認ができたので、2枚目は自分のプロンプトに差し替えてみます。題材は猫のキャラクターにしました。

Positive Promptには、こちらを入力しました。

a cute cat character mascot, a chubby orange tabby cat standing on two legs, wearing a small blue scarf, big round eyes, cheerful smile, full body, standing pose, plain light beige background, digital illustration, soft colors, kawaii mascot style

ここで1つ注意点があります。テンプレートのNegative Promptには、彫像をモノクロで出すための指定として「color, colored(色を付けない)」という言葉が含まれていました。カラーのキャラクターを描きたい場合は、この2語を抜いておかないと色の薄い結果になります。2枚目のNegative Promptはこちらを使いました。

blurry, lowres, out of focus, deformed, bad anatomy, extra limbs, mutated, watermark, text, logo, signature

他の設定は一切変えずに実行したところ、青いスカーフを巻いた茶トラのマスコットキャラクターが出力されました。所要時間は18.11秒で、モデルの読み込みが済んでいる分、1枚目より少し速くなりました。

ComfyUIで生成した猫のキャラクター。青いスカーフを巻いた茶トラのマスコット

プロンプトを書き換えて「実行する」を押すだけ、という基本の流れはForgeと変わりません。違うのは、その裏側の処理が全部見えていることくらいです。

つまずいた点のまとめ

  • 起動直後の画面は空っぽで正常。テンプレートは左端のアイコンメニュー一番下から読み込む
  • 「SDXLシンプル」は名前と違いBase+Refinerの2段構成。初回は「SDXL1.0:テキストから画像へ」が素直
  • 不足モデルのダウンロードでブラウザの保存ダイアログが出た場合は、保存先に「models\checkpoints」フォルダを指定する
  • モデルを置いた後は、パネルの更新を押すと「セットアップが必要です」が消える
  • 黒いコマンド画面を閉じるとComfyUIが終了する

さいごに

ComfyUIは「難しそう」という先入観がありましたが、公式テンプレートを入口にすると、インストールからSDXLの初回生成までを一気に進められました。RTX 3060 12GBでは、1024×1024の生成が1枚20秒前後と実用的な速さで、VRAMの心配も特にありませんでした。

ノードの意味が分かってくると、「この処理を挟んだらどうなるか」という実験の余地が見えてきます。次回は、作ったワークフローを保存して再利用する方法や、Forgeとモデルを共有する方法など、ComfyUIの基礎まわりを整理してみる予定です。

Forgeは使ったことがあるけれどComfyUIはまだ、という方の最初の一歩として、この記事が参考になれば嬉しいです。

タイトルとURLをコピーしました