应用IPAdapter(高级)(IPAdapterAdvanced)

admin2024-09-13501

image.png

应用IPAdapter”节点的高级版本。

节点

所属插件:ComfyUI_IPAdapter_plus

下载地址:https://github.com/cubiq/ComfyUI_IPAdapter_plus

节点路径:新建节点->应用IPAdapter->应用IPAdapter(高级)

参数

接口

  • 模型:串联基础模型

  • IPAdapter:使用多个此节点时,进行串联。

  • 正面图像:接入参考图

  • 负面图像:接入参考图

  • 关注层遮罩:可选,只有遮罩位置被参考影响,即优先参考蒙版位置的内容风格

  • CLIP视觉:接入CLIP Vision视觉参考模型,该模型会对图片进行识别

    • 该节点加载IP-Adapter模型有两种方法,IPAdapter加载器(IPAdapterUnifiedLoader)和IPAdapter模型加载器(IPAdapterModelLoader)

    • 使用IPAdapter加载器时,CLIP视觉不需要连接,因为IPAdapter加载器已经自动匹配对应模型了

    • 使用IPAdapter模型加载器时,CLIP视觉需要连接,且手动选择对应模型,对应方法见github。

选项

  • 权重:权重越高参考图影响越高提示词影响越低,权重越低提示词影响越高参考图影响越低,一般设置0.8

  • 权重类型:IPAdapter 应用于 UNet 模型的方式。

    • liner: 线性强度,从图像生成流程的初始到结束阶段,始终以恒定强度施加参考图的影响;需保持参考图风格或构图稳定性的任务(如产品设计模板化输出)

    • ease in (渐强): 在生成初期以较低强度介入,随着生成进度逐步增强参考图的影响 ; 避免初始阶段参考图特征过于突兀,适合需要自然过渡的场景(如背景融合)

    • ease out (渐弱): 生成初期以高强度介入,后期逐步减弱参考图影响; 适用于希望保留参考图核心元素但需增加创意变化的场景(如艺术风格化)

    • Ease In-Out(渐强-渐弱): 生成初期和末期以较低强度介入,中期达到影响峰值; 平衡生成过程首尾阶段的自由度与中期精准控制,适合复杂构图生成。

    • Weak Input (弱化输入阶段) : 降低生成流程早期对参考图的依赖,避免初始特征过度固化; 需保留参考图色彩但重构构图的广告海报设计。

    • Weak Output(弱化输出阶段): 减弱生成末期参考图的影响,提升最终细节的原创性; 角色设计需保留基础特征但增加服饰/背景创新

    • Weak Middle (弱化中间):在生成中期最小化参考图影响,强调首尾阶段控制

    • Strong Middle(强化中间):在生成中期最大化参考图影响,聚焦核心元素强化

    • Style Transfer(风格迁移):将参考图的艺术风格迁移至生成图像;

    • Composition(构图迁移):重点迁移参考图的元素布局与空间关系,弱化具体细节

    • strong Style Transfer(强风格迁移):Style Transfer的加强版

    • Style and Composition (风格和构图):风格和构图融合迁移

    • Style Transfer Precise(精准风格迁移):在风格迁移基础上增强细节还原度,适用于高精度商业设计;对原始图像的内容要求不高,主要参考其风格

    • Composition Precise (精确构图迁移):对风格迁移要求不高,主要参考构图

  • 合并嵌入组:当参考图为多张时,多图融合的方式

    • 联结:将每个图像的嵌入链接起来,有效保留所有图片的输入信息并组合起来,合并每个图片的广泛特征

    • 相加:对图像的嵌入求和,增强图像之间的共同特征

    • 相减:如果多张图中有共同部分,把共同部分去掉

    • 平均:对各个图像的嵌入特征取平均值

    • 规格化平均:根据图像在批次中的相对权重进行微调,效果不好

  • 开始应用位置:IPAdapter参与影响生图的开始时间

  • 结束应用位置:IPAdapter参与影响生图的结束时间

  • 权重类型:三种权重类型选择。

    • standard:标准类型,参考图影响起决定作用

    • prompt is more important:风格的提示词影响超过参考图影响,构图仍由参考图影响

    • style transfer:风格迁移,风格完全由参考图影响,构图不参与影响

  • 嵌入组缩放:太玄学,可以不了解,随便用哪个,实际效果差不多,也可以尝试各种后看哪个好用哪个

    • 1. 'V only': 仅对视觉嵌入(V)进行缩放操作,保持其他嵌入不变。

    • 2. 'K+V': 对键(K) 和视觉嵌入(V)进行缩放操作,保持其他嵌入不变。

    • 3. 'K+V w/ C penalty': 对键(K)和视觉嵌入(V)进行缩放操作,并在缩放过程中对C惩罚,保持其他嵌入不变。

    • 4. 'K+mean(V) w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,但是在缩放视觉嵌入时使用均值进行,同时对C进行惩罚,保持其他嵌入不变。

权重类型对比工作流:

ipa高级权重类型sdxl.7z

网友评论