基于节点化工作流的双条件控制：Stable Diffusion中ControlNet与IP-Adapter的协同

ComfyUI 是一个基于节点化流程设计的开源 AI 绘画工具，它通过模块化的节点连接方式，让用户能够自由构建高度定制化的图像生成工作流。

正向提示：beautiful scenery nature glass bottle landscape, purple galaxy bottle

反向提示：text, watermark,naked

与传统的 WebUI 相比，ComfyUI 不仅支持更精细的参数控制和流程设计，还允许在本地运行，保障数据隐私。自 2023 年由 Comfyanonymous 创建以来，其开源生态不断丰富，社区提供了大量插件和工作流模板，大幅降低了使用门槛。

在整个工作流中，Checkpoint 节点承担着模型加载与初始化的核心角色。它输出三个关键组件：MODEL（即 U-Net 结构）、CLIP 文本编码器和 VAE 变分自编码器。U-Net 负责去噪和图像迭代生成，需连接至采样器（如 KSampler）；CLIP 则处理文本提示词，将自然语言转换为生成过程可理解的特征向量；VAE 则负责潜空间与像素空间之间的编码和解码，是最终图像生成或图像重建的基础。

文本编码环节通过 CLIP 节点实现多模态语义对齐。用户输入的正向提示词（如“赛博朋克城市，霓虹灯光，雨夜”）用于引导生成内容，反向提示词（如“模糊，畸变，水印”）则用于排除不良特征。

在生成流程中，潜空间（Latent Space）作为 Stable Diffusion 的核心抽象表示，将高维图像数据压缩至低维特征空间，既提高了计算效率，也保留了语义信息。

用户可通过“空Latent图像”（Empty Latent Image）节点指定生成图像的初始分辨率与批大小（batch size），以此作为采样器（如 KSampler）的随机噪声输入起点，这是文生图（text-to-image）的标准流程。

在图生图（img-to-img）任务中，该随机初始潜空间通常被替换为来自具体图像的编码潜表示。具体做法是：将输入图像送入VAE编码器（VAE Encode）节点，编码器会把像素图像压缩成在潜空间中对应的低维张量。随后，这个蕴含了原图视觉特征的Latent将作为采样器的输入，再结合文本提示词和控制参数（如降噪强度Denoise），指导模型在原有图像结构基础上进行有条件的重绘与风格迁移。这一机制将文生图的“从零生成”转变为图生图的“基于语义的编辑”，实现了图像修改、风格化及局部重绘等复杂应用。

K采样器（K-Sampler）是执行扩散过程的关键节点，其通过迭代去噪生成潜空间中的图像表示。其中，种子（Seed）控制随机性以实现结果复现，步数（Steps）影响迭代细致度，CFG 权重调整文本引导强度，而调度器（Scheduler）则决定了噪声衰减策略，例如 DDIM 侧重速度、Euler 强调细节、LMS 寻求平衡。降噪强度（Denoise）参数尤其重要，它在 img2img 任务中控制编辑幅度，可用于局部重绘或风格迁移。

最后，VAE 解码器将潜空间中的低维表示解码为高质量像素图像，完成从抽象特征到可视化结果的转换。这一节点虽处于流程末端，却是输出最终图像不可或缺的一环。

在ComfyUI的节点化工作流中，ControlNet与IP-Adapter的联合使用代表了当前图像生成领域最前沿的精准控制范式。核心思想是解耦与控制：将图像生成中最关键的两个维度——“结构构图” 与 “风格语义”——进行分离控制，从而实现前所未有的创作自由度。ControlNet扮演的是“骨架工程师”，它负责严格规定生成的几何结构、空间布局和人体姿态；而IP-Adapter则是“灵魂画师”，负责注入参考图像的艺术风格、纹理质感与整体氛围。

IP-Adapter的技术突破在于实现了“图像即提示词”（Image as Prompt）。它通过一个预训练的视觉编码器（通常是CLIP的ViT）将参考图像编码到一个与文本嵌入空间对齐的特征空间。这些图像特征随后被作为交叉注意力的键值对，与文本提示词一同引导生成过程。这就好比您不仅用文字告诉模型“画一个城堡”，还直接给它看了一张莫奈的画作，说：“就按这个感觉来画”。因此，IP-Adapter能极其高效地迁移风格、保持角色一致性，甚至复现参考图中难以用文字描述的微妙光影和情绪。

ControlNet通过一种独特的“旁路连接”架构，将输入条件（如Canny边缘图、深度图、OpenPose姿态图）编码为一系列特征图，这些特征图在U-Net的每一步去噪过程中作为空间约束，直接调制扩散模型的中间特征，确保生成结果在结构上与输入条件毫厘不差。这意味着您可以用一张简单的建筑线稿，精确生成一座具有复杂光影的哥特式城堡，其轮廓却与您的线稿完全一致。

一个典型的高级工作流是：“IP-Adapter提供风格+ControlNet锁定结构+文本提示词补充细节”。例如：

1. 使用一张铅笔素描（Canny Edge）作为ControlNet输入，锁定人物的复杂姿态和构图。
2. 使用一张古典油画作为IP-Adapter的输入，定义整体的色彩笔触和光影风格。
3. 在文本提示词中详细描述“一位身着丝绸长裙的东方公主，珠宝璀璨”，来添加素描和油画中都不存在的细节内容。

这种多条件控制机制将Stable Diffusion从一个随机的生成器，升级为一个高度可控、可预测的视觉内容生产引擎。它不仅极大地降低了高质量艺术创作的门槛，更为专业创作者进行商业化应用（如游戏角色设计、广告素材制作、概念艺术迭代）提供了稳定、可批量生产的解决方案。

附录：环境

nvidia-smi
Wed Sep 17 16:47:00 2025       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 520.61.05    Driver Version: 520.61.05    CUDA Version: 11.8     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-PCIE...  Off  | 00000000:00:0D.0 Off |                  Off |
| N/A   48C    P0    40W / 250W |   7188MiB / 16384MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1904      C   python                           7184MiB |
+-----------------------------------------------------------------------------+

CentOS Linux release 7.5.1804 (Core)

Python 3.11.11 (main, Dec 11 2024, 16:28:39) [GCC 11.2.0]
Pytorch 2.5.1+cu118
Arguments /home/comfyui/main.py --listen 0.0.0.0
RAM Total 125.75 GB
RAM Free 116.17 GB

Devices
Name cuda:0 Tesla V100-PCIE-16GB : cudaMallocAsync
VRAM Total 15.78 GB
VRAM Free 8.9 GB
Torch VRAM Total 6.63 GB
Torch VRAM Free 140.46 MB

本文素材来自于 华为云开发者云实验-AI打造专属企业风格海报