各种小模型说明

admin2024-09-26386

面部模型

AI人脸修复的三驾马车:GPEN,GFPGAN和CodeFormer。三个在图像处理和修复领域具有代表性的深度学习模型。它们虽然都涉及图像恢复和增强,但在具体应用、方法论和技术细节上有显著的不同点。总的来说,都能用来修复老照片,使模糊图片清晰化,同样能修复视频。

GFPGAN v1.4.pth

作用:速度最快,主要用于人脸修复和增强,是一种基于生成对抗网络(GAN)的深度学习模型,主要用于人脸修复和增强。它的最新版本V1.4在低质量输入下也能输出高质量结果,并且修复效果更加自然。

GPEN-BFR-512.onnx

作用:专攻超分辨率,用在 ReActorRestoreFace 节点上,恢复人像面部。

下载:https://github.com/Gourieff/comfyui-reactor-node

codeformer-v0.1.0.pth

作用:适合处理包含结构信息的图像恢复任务,老照片人脸修复时,用在 FaceRestoreModelLoader 节点上,消除面部噪点提升清晰度效果好。

下载:https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth

参考资料:

https://zhuanlan.zhihu.com/p/690995399

放大模型

Real-ESRGAN模型

主要有以下几种‌:

  • ‌realesrgan-x4plus‌:默认模型,适用于一般图像的超分辨率。

  • ‌realesrnet-x4plus‌:与realesrgan-x4plus功能相似,但具体参数有所不同。

  • ‌realesrgan-x4plus-anime‌:针对动漫插画图像优化,体积更小。

  • ‌realesr-animevideov3‌:专门用于动漫视频的超分辨率。

  • ‌realesrgan-x4plus-anime-6B‌:针对动漫图像和视频的优化版本。

这些模型可以根据处理的对象(如普通图像、动漫插画、动漫视频等)选择合适的模型进行使用,以达到最佳的超分辨率效果‌

RealESRGAN_x4plus.pth 和 4x-UltraSharp.pth

1、模型文件对比‌

  • ‌RealESRGAN-x4plus.pth‌:用于图像超分辨率的模型文件,通过深度学习技术提升图像质量至4倍或以上,特别优化了真实感。

  • ‌4x-UltraSharp.pth‌:同样为图像超分辨率模型文件,旨在将图像分辨率提升至4倍,强调图像的清晰度和锐利度。

2、‌技术特点与应用‌

  • ‌RealESRGAN-x4plus‌:注重保持图像的真实感和细节,适用于需要高保真度的图像放大场景。

  • ‌4x-UltraSharp‌:专注于提高图像的清晰度和对比度,适合需要图像更加锐利、细节更加突出的场合。

‌3、选择建议‌

  • 根据具体需求选择:若追求真实感,选RealESRGAN_x4plus;若需更高清晰度,选4x-UltraSharp。

目标检测模型

GroundingDino

下载地址:https://github.com/storyicon/comfyui_segment_anything?tab=readme-ov-file

image.png

模型详解:https://www.wangjingxian.cn/aihuihua/17246024329728.html

retinaface_resnet50:

具有较高的检测精度,能够很好地检测和定位图像中的人脸。

retinaface_mobile0.25:

检测精度相对retinaface_resnet50较低,但计算效率更高。

YOLOv5l:

l表示大型模型。除了能检测人脸外,还可以检测多种其他目标类别。

YOLOv5n:

n较小型号的模型。检测精度较低,同样能检测多种目标类别,包括人脸。

检测模型

脸:bbox/face_yolov8m.pt

手:bbox/hand_yolov8s.pt

人:segm/person_yolov8m-seg.pt

图像分割遮罩模型

小模型:mobile_sam.pt

中模型:sam_vit_b_O1ec64.pth

大模型:sam_-vit_h_4b8939.pth

这三个文件通常与ESAM功能结合使用


网友评论