一、应用介绍

ComfyUI Extra Models是一个为ComfyUI打造的插件集合，旨在添加对多种不同图像扩散模型的支持，从而进一步释放ComfyUI的图像生成能力。其应用场景广泛：

• 艺术创作：可使用PixArt创作出细腻而富有想象力的艺术作品，通过调整参数来探索各种艺术风格和表现形式。
• 特定主题图像生成：利用DiT进行基于类别标签的图像生成，适用于生成特定主题或风格的图像，比如生成一系列具有特定风格的风景、人物等图像。
• 图像处理任务：支持尝试不同的VAE模型，可用于图像去噪、颜色校正甚至视频稳定等任务，满足用户在图像处理方面的多样化需求。

二、与传统方法对比

三、插件下载地址和安装方法

• 下载地址：https://github.com/city96/ComfyUI_ExtraModels
• 安装方法
  • 使用Conda或虚拟环境：在终端中运行git clone https://github.com/city96/ComfyUI_ExtraModels custom_nodes/ComfyUI_ExtraModels，将插件克隆到custom_nodes文件夹。进入虚拟环境，运行pip install -r requirements.txt安装依赖。
  • Standalone ComfyUI：进入ComfyUI解压目录（包含run_nvidia_gpu.bat文件的目录），按住Ctrl+Shift右键点击空白处，选择“在此处打开Powershell窗口”。运行git clone https://github.com/city96/ComfyUI_ExtraModels .\ComfyUI\custom_nodes\ComfyUI_ExtraModels。在Windows上安装依赖，运行.\\python_embeded\\python.exe -s -m pip install -r .\\ComfyUI\\custom_nodes\\ComfyUI_ExtraModels\\requirements.txt。

四、需要的模型及下载地址

• PixArt：从PixArt alpha仓库下载PixArt-XL-2-1024-MS.pth，将其放在checkpoints文件夹中。
• HunYuan DiT
  • 第一个文本编码器下载地址：下载后放入ComfyUI/models/clip，重命名为chinese-roberta-wwm-ext-large.bin。
  • 第二个文本编码器下载地址：下载后放入ComfyUI/models/t5，重命名为mT5-xl.bin。
  • 模型文件下载地址：下载后放入ComfyUI/checkpoints，重命名为HunYuanDiT.pt。
  • 可使用SDXL VAE，如具体SDXL VAE地址。
• DiT：从DiT仓库或Huggingface下载转换后的FP16 safetensor文件，放入checkpoints文件夹。
• T5：从DeepFloyd/t5-v1_1-xxl仓库下载config.json、pytorch_model-00001-of-00002.bin、pytorch_model-00002-of-00002.bin、pytorch_model.bin.index.json，将它们放入ComfyUI/models/t5文件夹。

五、插件包含的节点名称

• PixArt Checkpoint Loader
• HunYuan DiT TextEncode Simple
• DiT Model Loader
• T5 Text Encode等

六、关键插件参数用途和推荐值

以PixArt为例：

• CFG Scale：控制生成图像与提示词的匹配程度，推荐值在7-12左右，数值越高，图像与提示词的匹配度可能越高，但也可能导致图像过度拟合提示词，失去一些多样性。
• Sampling Steps：采样步数，决定生成图像的迭代次数，推荐值20-50步，步数越多，图像细节可能越丰富，但生成时间也会越长。
• Resolution：可选512或1024等，根据实际需求和硬件性能选择，若硬件性能强，可选择1024获得更高分辨率图像。

七、节点工作流参考案例

八、总结

ComfyUI Extra Models插件为ComfyUI用户带来了更多先进的图像扩散模型，极大地拓展了ComfyUI的功能和创作可能性。用户通过简单的安装和配置，就能使用如PixArt、HunYuan DiT、DiT等强大的模型，在艺术创作、图像处理等多个领域实现更出色的效果。无论是追求高质量艺术作品的创作者，还是对图像生成技术有更高要求的开发者，该插件都是一个非常有价值的工具，能帮助用户在图像生成领域探索更多可能，创造出更具创意和质量的图像作品。