ComfyUI介绍(官方直译)详细部署教程和使用

ComfyUI

功能最强大、模块化程度最高的稳定扩散图形用户界面和后台。

该界面可让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。如需了解一些工作流程示例,并了解 ComfyUI 的功能,请访问以下网站:跳转

特性

  • 节点/图形/流程图界面,用于实验和创建复杂的稳定扩散工作流程,无需编写任何代码。
  • 完全支持 SD1.x、SD2.x 和 SDXL
  • 异步队列系统
  • 多项优化 只重新执行工作流中在两次执行之间发生变化的部分。
  • 命令行选项:–lowvram 可使其在 3GB 内存以下的 GPU 上运行(在低内存的 GPU 上自动启用)
  • 即使没有 GPU 也能使用: –cpu(慢速)
  • 可加载 ckpt、safetensors 和 diffusers 模型/检查点。独立的 VAE 和 CLIP 模型。
  • 嵌入/文本反演
  • Loras (常规、locon 和 loha)
  • 超网络
  • 从生成的 PNG 文件加载完整的工作流(含种子
  • 以 Json 文件保存/加载工作流。
  • 节点界面可用于创建复杂的工作流程,如 “Hires fix “或更高级的工作流程。
  • 区域合成
  • 使用常规和内绘模型进行内绘
  • 控制网络和 T2I 适配器
  • 升级模型(ESRGAN、ESRGAN 变体、SwinIR、Swin2SR 等)
  • unCLIP 模型
  • GLIGEN
  • 模型合并
  • 使用 TAESD 进行潜伏预览
  • 启动速度极快。
  • 完全离线工作:不会下载任何东西。
  • 配置文件可设置模型的搜索路径。

快捷键

MacOS 用户也可以用 Cmd 代替 Ctrl

windows压缩包安装ComfyUI

在发布页面上,有一个适用于 Windows 的便携式单机版,可以在 Nvidia GPU 上运行,也可以只在 CPU 上运行。

只需下载,用 7-Zip 解压缩并运行即可。确保将稳定扩散检查点/模型(巨大的 ckpt/safetensors 文件)放入文件中:ComfyUI\models\checkpoints

将下载好的文件放到指定目录后提取文件得到如下图所示文件夹。

启动comfyUI如下图根据具体需求选择对应的脚本。

出现如下信息后表示comfyUI启动成功。

当然也可以让他转后台运行,本质上是通过bat程序调用python本地文间启动脚本,有兴趣的同学可以自行摸索一下。

浏览器会自动打开 http://127.0.0.1:8188 如果没用打开请在浏览器手动输入并访问,至此comfyUI部署完成,加载模型后可以使用了,comfyUI默认不包含任何模型。

加载模型 有条件(魔法)的同学可前往C站下载 跳转

此处大模型由 B站UP主秋葉aaaki提供,留下了没用SVIP的

大模型:https://pan.baidu.com/s/1TbA04C3TcOSKUh1Y_9trOg 提取码:aaki

大模型:https://pan.baidu.com/s/1v_RKaBTWkhFYabOvlao7pQ 提取码:aaki

下载完成后将模型放在如下目录 checkpoints 文件夹下

另一个UI如何跟ComfyUI之间共享模型 笔者之前用的是 stable-diffusion-webui ,以此举例将extra_model_paths.yaml.example 文件复制一份,然后通过文本编辑器打开副本文件。

修改配置文件,笔者的controlnet插件是通过Civitai-Helper下载的所有也需要修改,退出保存。

删除extra_model_paths.yaml- 副本.example yaml文件后字符串(副本.example)后的得到extra_model_paths.yaml 文件。

重启ComfyUI已加载配置文件,关闭如图所示的页面(红色字体是我自己输入的)

双击下图中的bat脚本再次启动ComfyUI。

重启完成,从提示可以看到已经加载了相关模型

至此我们就可以开始快乐的使用ComfyUI画图了。

手动安装ComfyUI

安装git和python 插件下载需要使用git,请参照此官方文档 https://git-scm.com/download/win 安装Python3.11.6 作者使用的版本,参照官方文档 https://www.python.org/downloads/

安装python相关依赖 将如下信息保存至 requirements.txt 文件中,使用 pip install -r requirements.txt 安装。

torch
torchsde
einops
transformers>=4.25.1
safetensors>=0.3.0
aiohttp
accelerate
pyyaml
Pillow
scipy
tqdm
psutil

如果你安装了其它UI可以不用再次安装python相关依赖 如果您安装了另一个UI并使用其自己的Python venv工作,则可以使用该venv运行Comfyui。您可以打开自己喜欢的终端并激活它 mac或者Linux source path_to_other_sd_gui/venv/bin/activate

在 Windows 上 使用 Powershell "path_too_other_sd_gui\venv\Scripts\Activate.ps1" 使用 cmd.exe:"path_to_other_sd_gui\venv\scripts\activate.bat"

windows建议使用压缩包安装 git clone https://github.com/comfyanonymous/ComfyUI.git 获取配置文件 将 SD 检查点(巨大的 ckpt/safetensors 文件)放在: models/checkpoints 中 将 VAE 文件放入: models/vae 注意:pytorch 尚不支持 python 3.12,因此请确保您的 python 版本是 3.11 或更早。

AMD 显卡 (只能在Linux上运行)

如果尚未安装 rocm 和 pytorch,AMD 用户可以使用 pip 安装,这是安装稳定版的命令:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

这是安装 ROCm 5.7 夜间版本的命令,该版本可能会有一些性能改进:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.7

MAC安装

你可以在苹果 Mac silicon(M1 或 M2)上安装 ComfyUI,并使用任何最新的 macOS 版本。 每晚安装 pytorch。有关说明,请阅读 Mac 上的 PyTorch 加速培训 Apple 开发者指南(确保安装最新的 pytorch 夜行版)。

启动 python main.py

对于 ROCm 官方不支持的 AMD 显卡 如果有问题,请尝试使用此命令运行: 对于 6700、6600 以及其他 RDNA2 或更早版本: HSA_OVERRIDE_GFX_VERSION=10.3.0 python main.py 对于 AMD 7600 或其他 RDNA3 显卡: HSA_OVERRIDE_GFX_VERSION=11.0.0 python main.py

说明

只有在图形的输出中包含所有正确输入的部分才会被执行。

只有每次执行时都有变化的图形部分才会被执行,如果您两次提交同一个图形,只有第一次会被执行。如果您更改了图形的最后一部分,只有您更改的部分和依赖于它的部分才会被执行。

在网页上拖动生成的图片或加载生成的图片将显示完整的工作流程,包括用于创建该流程的种子。

您可以使用()来改变单词或短语的强调程度,如 (好代码:1.2)或(坏代码:0.8)。() 的默认重音是 1.1。要在实际提示符中使用 () 字符,可以像 或 一样转义。

对于通配符/动态提示符,可以使用 {day|night}。使用这种语法,”{wild|card|test}”将在每次排队提示时被前台随机替换为 “wild”、”card “或 “test”。要在实际提示符中使用 {} 字符,请将其转义为 { 或 }。

动态提示符还支持 C 风格注释,如 // comment 或 /* comment */

要在文本提示中使用文本反转概念/嵌入,请将它们放在 models/embeddings 目录中,然后像这样在 CLIPTextEncode 节点中使用它们(可以省略 .pt 扩展名):embedding:embedding_filename.pt

如何提高生成速度

确保使用常规加载器/加载检查点节点来加载检查点。它会根据你的 GPU 自动选择正确的设置。 您可以设置此命令行设置,在某些交叉注意操作中禁用上传到 fp32,这将提高您的速度。请注意,这很可能会导致 SD2.x 模型上的图像变黑。如果您使用的是 xformers,则此选项不起任何作用。 --dont-upcast-attention

如何显示高质量预览

使用 –preview-method auto 启用预览。 默认安装包含一种低分辨率的快速潜伏预览方法。要使用 TAESD 启用更高质量的预览,请下载 taesd_decoder.pth(用于 SD1.x 和 SD2.x)和 taesdxl_decoder.pth(用于 SDXL)模型,并将它们放到 models/vae_approx 文件夹中。安装完成后,重启 ComfyUI 以启用高质量预览。

使用ComfyUI

默认页面模块介绍

使用默认提示词获取了如下图片

从上图中的信息发现comfyUI的模块有点多操作有点复杂、不支持中文等,下面笔者推荐三个插件给大家。

ComfyUI插件

ComfyUI Manager插件

您可以在comfyui节点信息页面上查看整个节点信息,通过该插件安装其它插件。

先看效果,需要时再安装,菜单栏多了一个Manager的按钮。

git 命令安装 前往 *\ComfyUI\custom_nodes 目录在文件路径处输入cmd 按下回车会打开cmd命令行

通过该命令安装:git clone https://github.com/ltdrdata/ComfyUI-Manager.git 下图表示安装成功,重启ComfyUI。

手动安装 github下载地址:跳转

百度网盘下载地址:https://pan.baidu.com/s/1sK3jZW_KNFRGtfgywQuTug?pwd=yp0j 提取码:yp0j

下载完成后解压文件夹,将文件移动至*\ComfyUI\custom_nodes 路径下,重启ComfyUI。

ComfyUI汉化插件

AIGODLIKE-ComfyUI-Translation 用于 ComfyUI 多语言翻译的插件,该插件实现了常驻菜单栏/搜索栏/右键上下文菜单/节点等的翻译。

支持的语言类型。

先看效果,需要时再安装。

通过Manager安装AIGODLIKE-ComfyUI-Translation,没用git或者访问github下载缓慢请往下看找到手动安装

输入 translation 进行筛选,然后点击点击Install。

有没有安装完成如下两个区域可以确认。

手动安装,通过manager安装的跳过此步骤 github下载地址:跳转 百度网盘下载地址:跳转 提取码:ug64 下载完成后解压文件夹,将文件移动至*\ComfyUI\custom_nodes 路径下。

重启ComfyUI后将语言切换为中文,选中中文后浏览器会自动刷新。

方法二,点击切换为本地。

ComfyUI Efficiency插件

ComfyUI 自定义节点集,可帮助简化工作流程并减少节点总数,具体细节请参照 跳转

先看效果,需要时再安装。 如下图所示Efficiency帮集成了很多模块,常规模块可见图2对比。

通过Manager安装Efficiency,安装完成后重启

手动安装,通过manager安装的跳过此步骤

github下载地址:跳转

百度网盘下载地址:跳转 提取码:aeny

下载完成后解压文件夹,将文件移动至*\ComfyUI\custom_nodes 路径下。

重启ComfyUI后,可通过右键,新建节点,效率节点添加需要使用的相关模块。

ComfyUI-Custom-Scripts 插件

通过Manager安装不在演示,搜索ComfyUI-Custom-Scripts 即可安装。

可以将工作流导出为图片,将图片复制到ComfyUI页面即可加载工作流,具体细节请参照 https://github.com/pythongosssss/ComfyUI-Custom-Scripts

github下载地址:https://github.com/pythongosssss/ComfyUI-Custom-Scripts

百度网盘下载地址: https://pan.baidu.com/s/1Tbhv0qi9YFocQF7C3I-XXQ?pwd=bhox 提取码:bhox

下载完成后解压文件夹,将文件移动至`*\ComfyUI\custom_nodes` 路径下。

ComfyUI 示例

官方示例:跳转

文生图加入高清算法

图生图

局部重绘

区域组合

将多张图片融合在一起,大致流程是先定义一张比较大尺寸的背景,分成四块区域,每块区域用不同的提示词,然后将提示词融合起来,生成图片,此时生成的图片过渡区域可能太连贯。

初步区域组合的效果

再通过图生图重新绘制,将重绘幅度控制在0.5一下(图片不会发生太大变化)。

最终效果

区域组合需要用到的完整模块

ControlNet

安装ControlNet

通过canny控制图像生成

示例模板下载

百度网盘 跳转 提取码:2ora

加载模板

ComfyUI模块说明

采样器

采样算法推荐 如果您想使用快速、收敛、新颖、质量上乘的产品,那么最佳选择是

  • DPM++ 2M(采样算法) Karras(调度器),20-30步
  • UniPC 20-30 步 。

如果您想要高质量的图像,又不在意收敛性,那么以下几种是不错的选择

  • DPM++ SDE Karras,10-15 步(注:这是一种较慢的采样器)
  • DDIM 10-15 步。

模型加载器

发表回复