ComfyUI_InstantID详解

admin2024-09-11211

InstantID是一种新的最先进的免调优方法,只需单个图像即可实现ID保留生成,支持各种下游任务。它能够实现在保持高保真度身份保留的同时,仅使用单张面部图像参考就可以实现个性化图像合成,并且支持各种不同的风格。

InstantID使用InsightFace从参考人脸中检测、裁剪和提取人脸embedding。然后embedding与IP-Adapter一起使用来控制图像生成。这部分与IP-Adapter FaceID非常相似。不过,它还使用ControlNet检测并修复多个面部标志(眼睛、鼻子和嘴巴)。

结合使用IP-Adapter FaceID和ControlNet,可以高保真度地复制我们提供的参考图像,从而最终实现人物角色的一致性。

插件

地址:https://github.com/cubiq/ComfyUI_InstantID

特点

  • 只支持SDXL模型

  • 支持Lora模型

  • 对配置要求高

  • 强行换脸,表情有区别,因此无法进行视频换脸

模型下载

使用InstantID插件需要下载三个模型,模型下载地址在插件也安装部分有介绍,分别如下:

1、InsightFace模型

下载地址:https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?pli=1

        或者  https://huggingface.co/MonsterMMORPG/tools/tree/main

下载模型,解压缩并将它们放在目录中。ComfyUI/models/insightface/models/antelopev2

image.png

2、主模型

下载地址:https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true

下载后必须放在ComfyUI/models/instantid 目录。

3、controlNet模型

下载地址:https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors

对其他controlNet模型支持不友好,有这个就够了,不用再接其他controlNet。

节点

image.png

InstnatID模型加载器

InstantID面部分析

应用InstantID

应用InstantID(高级)

面部关键点预处理器

InstantID关注组件

应用InstantID(ControlNet)

注意:

ComfyUI_InstantID插件目前这仅适用于SDXL。

生图时cfg设置建议 4-5.

四种换脸插件区别

image.png

参考

https://zhuanlan.zhihu.com/p/8236028556

网友评论