ComfyUI_InstantID详解
InstantID是一种新的最先进的免调优方法,只需单个图像即可实现ID保留生成,支持各种下游任务。它能够实现在保持高保真度身份保留的同时,仅使用单张面部图像参考就可以实现个性化图像合成,并且支持各种不同的风格。
InstantID使用InsightFace从参考人脸中检测、裁剪和提取人脸embedding。然后embedding与IP-Adapter一起使用来控制图像生成。这部分与IP-Adapter FaceID非常相似。不过,它还使用ControlNet检测并修复多个面部标志(眼睛、鼻子和嘴巴)。
结合使用IP-Adapter FaceID和ControlNet,可以高保真度地复制我们提供的参考图像,从而最终实现人物角色的一致性。
插件
地址:https://github.com/cubiq/ComfyUI_InstantID
特点
只支持SDXL模型
支持Lora模型
对配置要求高
强行换脸,表情有区别,因此无法进行视频换脸
模型下载
使用InstantID插件需要下载三个模型,模型下载地址在插件也安装部分有介绍,分别如下:
1、InsightFace模型
下载地址:https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?pli=1
或者 https://huggingface.co/MonsterMMORPG/tools/tree/main
下载模型,解压缩并将它们放在目录中。ComfyUI/models/insightface/models/antelopev2
2、主模型
下载地址:https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
下载后必须放在ComfyUI/models/instantid
目录。
3、controlNet模型
对其他controlNet模型支持不友好,有这个就够了,不用再接其他controlNet。
节点
应用InstantID(ControlNet)
注意:
ComfyUI_InstantID插件目前这仅适用于SDXL。
生图时cfg设置建议 4-5.
四种换脸插件区别
参考
https://zhuanlan.zhihu.com/p/8236028556