IP-Adapter模型
简介
IPAdapter 是腾讯 AI 实验室推出的一款先进的文本到图像扩散模型适配器，具备多项创新功能，适用于多种图像处理场景：
兼容性：IPAdapter 能够适配 StableDiffusion 1.5 和 StableDiffusion XL 版本，提供广泛的应用支持。
功能多样：它支持自定义模型推理、结构控制、图像到图像的转换以及修复等多式联运提示功能。
风格迁移：IPAdapter 能够实现图片风格迁移，将一种风格应用到另一张图片上，或融合多种风格创造独特的视觉效果。
换脸技术：它支持面部识别和换脸操作，与 FaceID 模型结合使用，提高换脸效果的一致性和自然度。
艺术创作：IPAdapter 可用于艺术和设计领域，通过风格迁移创造新颖的视觉作品。
视频制作：在AI视频制作中，它能够进行角色面部替换，增强视觉效果的连贯性。
个性化图像生成：根据用户需求生成具有特定风格或特征的图像，适用于广告、游戏开发等领域。
下载地址：https://huggingface.co/h94
模型列表
IP-Adapter 模型：下载完后需要放在 /ComfyUI/models/ipadapter 目录下
ip-adapter_sd15.safetensors：基本模型， 平均强度
ip-adapter_sd15_light_v11.bin：与ip-adapter_sd15相同，但更兼容文本提示
ip-adapter-plus_sd15.safetensors：比 ip-adapter_sd15 更接近参考图像
ip-adapter-plus-face_sd15.safetensors：人像模型
ip-adapter-full-face_sd15.safetensors：更强的脸模型，但效果不一定更好
ip-adapter_sd15_vit-G.safetensors：使用 ViT-bigG 视觉编码器
ip-adapter_sdxl_vit-h.safetensors：使用 ViT-H 视觉编码器
ip-adapter-plus_sdxl_vit-h.safetensors：更接近参考图
ip-adapter-plus-face_sdxl_vit-h.safetensors：SDXL人像模型
ip-adapter_sdxl.safetensors：SDXL 基本模型
ip-adapter_sd15.bin：使用 OpenCLIP-ViT-H-14 中的全局图像嵌入作为条件，也就是说不仅仅参考脸部，而是参考政府图片，这件事情与另外一组的faceID系列模型出发点上就不同了；
ip-adapter_sd15_light.bin：与 ip-adapter_sd15 相同，但更兼容文本提示，因为本身ip-adpter是图像和提示词共同影响生成的结果，所以这个模型从理论上提升了文本提示词的影响权重；
ip-adapter-plus_sd15.bin：：使用从OpenCLIP-ViT-H-14模型中提取的图像块嵌入作为条件输入，比 ip-adapter_sd15 更接近参考图像，简单理解就是，有plus用plus，效果更好。
ip-adapter-plus-face_sd15.bin：与 ip-adapter-plus_sd15 相同，但使用裁剪后的人脸图像作为条件，也就意味着人物脸部的影响会更强，而衣服姿势等信息的影响被极大的降低；
SD 1.5
ip-adapter_sd15.bin
ip-adapter_sd15.safetensors
ip-adapter_sd15_light.bin
ip-adapter_sd15_light.safetensors
ip-adapter_sd15_light_v11.bin
ip-adapter_sd15_vit-G.bin
ip-adapter_sd15_vit-G.safetensors
ip-adapter-full-face_sd15.bin
ip-adapter-full-face_sd15.safetensors
ip-adapter-plus_sd15.bin
ip-adapter-plus_sd15.safetensors
ip-adapter-plus-face_sd15.bin
ip-adapter-plus-face_sd15.safetensors
image_encoder编码器
ip-adapter_sd15_model.safetensors
ip-adapter_sd15_pytorch_model.bin
SDXL
ip-adapter_sdxl.bin
ip-adapter_sdxl.safetensors
ip-adapter_sdxl_vit-h.bin
ip-adapter_sdxl_vit-h.safetensors
ip-adapter-plus_sdxl_vit-h.bin
ip-adapter-plus_sdxl_vit-h.safetensors
ip-adapter-plus-face_sdxl_vit-h.bin
ip-adapter-plus-face_sdxl_vit-h.safetensors
ip-adapter_pulid_sdxl_fp16.safetensors
image_encoder编码器XL
ip-adapter_sdxl_model.safetensors
ip-adapter_sdxl_pytorch_model.bin
ip-adapter_sdxl.bin：使用 OpenCLIP-ViT-bigG-14 中的全局图像嵌入作为条件；
ip-adapter_sdxl_vit-h.bin：与 ip-adapter_sdxl 相同，但使用 OpenCLIP-ViT-H-14，作者在git中也提到了，两个模型对结果的影响实测下来发现并不大；
ip-adapter-plus_sdxl_vit-h.bin：使用 OpenCLIP-ViT-H-14 中的补丁图像嵌入作为条件，比 ip-adapter_sdxl 和 ip-adapter_sdxl_vit-h 更接近参考图像,同理，有plus用plus；
ip-adapter-plus-face_sdxl_vit-h.bin：与 ip-adapter-plus_sdxl_vit-h 相同，但使用裁剪后的人脸图像作为条件，这个也是增强脸部信息对最终生成画面的影响程度；
FaceID
ip-adapter-faceid_sd15.bin
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid_sdxl.bin
ip-adapter-faceid_sdxl_lora.safetensors
ip-adapter-faceid-plus_sd15.bin
ip-adapter-faceid-plus_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15.bin
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sdxl.bin
ip-adapter-faceid-plusv2_sdxl_lora.safetensors
ip-adapter-faceid-portrait_sd15.bin
ip-adapter-faceid-portrait_sdxl.bin
ip-adapter-faceid-portrait_sdxl_unnorm.bin
ip-adapter-faceid-portrait-v11_sd15.bin
根据你自己使用的大模型版本（1.5 还是sdxl）来选择对应的ip-adapter-FaceID模型，带sd1.5的就是适配1.5版本大模型的，带sdxl的，当然也就是适配sdxl版本的大模型；
尽量使用plus版本，比不带plus的效果要更好；
除了portrait版本，其他的版本建议搭配相应的lora来使用，效果会更好；
plusV2版本比plus版本多了可控性，可以通过调整controlnet中脸部结构的权重以获得不同的生成；
portrait版本是一个比较特殊的版本，与 IP-Adapter-FaceID 相同，但用于肖像生成，但是不需要lora，也不需要controlnet。具体来说，它接受多个面部图像以增强相似性（默认为 5），也就是参考同一个人物的多张脸部照片来生成图像，保证生成图像与原人物的一致性；
需要注意，其中名字带有 sd15 适用于 sd15 大模型，带有 sdxl 的适用于 sdxl 大模型；
其中名字带有 vit-h 的使用 ViT-H 视觉编码器，名字带有 vit-G 的使用 ViT-G 视觉编码器；
SDXL 大模型默认使用 ViT-G，SD15 大模型默认使用 ViT-H。