各种小模型说明
面部模型
AI人脸修复的三驾马车:GPEN,GFPGAN和CodeFormer。三个在图像处理和修复领域具有代表性的深度学习模型。它们虽然都涉及图像恢复和增强,但在具体应用、方法论和技术细节上有显著的不同点。总的来说,都能用来修复老照片,使模糊图片清晰化,同样能修复视频。
GFPGAN v1.4.pth
作用:速度最快,主要用于人脸修复和增强,是一种基于生成对抗网络(GAN)的深度学习模型,主要用于人脸修复和增强。它的最新版本V1.4在低质量输入下也能输出高质量结果,并且修复效果更加自然。
GPEN-BFR-512.onnx
作用:专攻超分辨率,用在 ReActorRestoreFace 节点上,恢复人像面部。
下载:https://github.com/Gourieff/comfyui-reactor-node
codeformer-v0.1.0.pth
作用:适合处理包含结构信息的图像恢复任务,老照片人脸修复时,用在 FaceRestoreModelLoader 节点上,消除面部噪点提升清晰度效果好。
下载:https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth
参考资料:
https://zhuanlan.zhihu.com/p/690995399
放大模型
Real-ESRGAN模型
主要有以下几种:
realesrgan-x4plus:默认模型,适用于一般图像的超分辨率。
realesrnet-x4plus:与realesrgan-x4plus功能相似,但具体参数有所不同。
realesrgan-x4plus-anime:针对动漫插画图像优化,体积更小。
realesr-animevideov3:专门用于动漫视频的超分辨率。
realesrgan-x4plus-anime-6B:针对动漫图像和视频的优化版本。
这些模型可以根据处理的对象(如普通图像、动漫插画、动漫视频等)选择合适的模型进行使用,以达到最佳的超分辨率效果
RealESRGAN_x4plus.pth 和 4x-UltraSharp.pth
1、模型文件对比
RealESRGAN-x4plus.pth:用于图像超分辨率的模型文件,通过深度学习技术提升图像质量至4倍或以上,特别优化了真实感。
4x-UltraSharp.pth:同样为图像超分辨率模型文件,旨在将图像分辨率提升至4倍,强调图像的清晰度和锐利度。
2、技术特点与应用
RealESRGAN-x4plus:注重保持图像的真实感和细节,适用于需要高保真度的图像放大场景。
4x-UltraSharp:专注于提高图像的清晰度和对比度,适合需要图像更加锐利、细节更加突出的场合。
3、选择建议
根据具体需求选择:若追求真实感,选RealESRGAN_x4plus;若需更高清晰度,选4x-UltraSharp。
目标检测模型
GroundingDino
下载地址:https://github.com/storyicon/comfyui_segment_anything?tab=readme-ov-file
模型详解:https://www.wangjingxian.cn/aihuihua/17246024329728.html
retinaface_resnet50:
具有较高的检测精度,能够很好地检测和定位图像中的人脸。
retinaface_mobile0.25:
检测精度相对retinaface_resnet50较低,但计算效率更高。
YOLOv5l:
l表示大型模型。除了能检测人脸外,还可以检测多种其他目标类别。
YOLOv5n:
n较小型号的模型。检测精度较低,同样能检测多种目标类别,包括人脸。
检测模型
脸:bbox/face_yolov8m.pt
手:bbox/hand_yolov8s.pt
人:segm/person_yolov8m-seg.pt
图像分割遮罩模型
小模型:mobile_sam.pt
中模型:sam_vit_b_O1ec64.pth
大模型:sam_-vit_h_4b8939.pth
这三个文件通常与ESAM功能结合使用