FLUX模型综合讲解

admin2024-09-05367

FLUX模型是由Black Forest Labs推出的最新文本生成图像模型,‌ 它是SD的创始团队,它的成员很多都是从SD里面出来的。

它开源的这个模型有120亿个参数,也就是12B。要知道Stable Diffusion 3 Medium 才包含20亿个参数,闭源的那个SD3 模型也才80亿参数。

FLUX.1 官方介绍页面:https://blackforestlabs.ai/

FLUX.1 官方博客:https://blackforestlabs.ai/announcing-black-forest-labs/

Flux-使用方法V2.jpg

官方三个版本

  1. FLUX.1 [pro]    闭源,只能使用api

  2. FLUX.1 [dev]    开源,20步出图,不可商用

  3. FLUX.1 [schnell] 开源,4-8步出图,可以商用

特点

  1. 画质极佳,为目前各种开源大模型中最好的

  2. 分辨率弹性,支持各种宽高比和分辨率,最高可达2048

  3. 改进修手,生手效果非常好

  4. 字体生成与排版,能够是直接生成英文并且排版

  5. 能够轻松生成各种风格

  6. embeddings通用性好,SD15和SDXL的都可以用

  7. 不需要输入负面提示词

模型下载:

image.png

配套模型

无论用哪套基础模型生图,都需要安装这个配套模型。

clip模型下载:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

CLIP 模型存放位置:ComfyUI\models\clip

基础模型

FP16大模型(官方原版)+VAE模型:质量速度都好,就是费显卡

特征:效果最好,速度较慢。对配置要求最高,显存16g以上,内存64G

FP16 大模型[dev] +VAE下载:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

FP16 大模型[schnell]+VAE下载:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

大模型存放位置:ComfyUI\models\unet

VAE模型存放位置:ComfyUI\models\vae

FP8大模型(kijia版):质量速度都稳得1p,看着有点复杂

特征:效果较好,速度较快。显存8g以上,内存16/32G,用得最多

FP8大模型[dev] [schnell]下载:https://huggingface.co/Kijai/flux-fp8/tree/main

FP8大模型(kijia版)存放位置:ComfyUI\mndels\unet

flux1-dev-fp8-e4m3fn.safetensors 大小11.9G 开源本地可部署 非商业许可

flux1-dev-fp8-e5m2.safetensors 大小11.9G 开源本地可部署 非商业许可

flux1-dev-fp8.safetensors 大小11.9G 开源本地可部署 非商业许可

flux1-schnell-fp8-e4m3fn.safetensors 大小11.9G 开源本地可部署 商业许可

FP8大模型(comfy-org,comfyui官方版):质量速度都稳得1p,看着清爽

特征:效果较好,速度较快。显存8g以上,内存32G,与kijia版几乎一致,但可用简化采样器节点

FP8大模型dev整合版(T5xxl、CLIP、VAE)下载:https://huggingface.co/Comfy-Org/flux1-dev/tree/main

FP8大模型schnell整合版(T5xod、CLIP、VAE)下载:https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

FP8大模型(comfy-org)存放位置:ComfyUI\models\checkpoints

fulx1 -dev-fp8-clip-vae.safetensors 大小17.2G 开源本地可部署 非商业许可

fulx1 -schnell-fp8-clip-vae.safetensors 大小17.2G 开源本地可部署 非商业许可

NF4量化模型(张吕敏开发版,V2更好)+插件:不费显卡,速度快啊

特征:效果比FP8差,偶尔也差不多,整体与Q4旗鼓相当,但质量不太稳定,速度最快。显存4g以上,内存32G,可用简化采样器节点,低显存中用得最多,用户评价也挺好,但据说官方不打算更新了。

NF4插件: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4(管理器粘贴git网址安装)

NF4大模型(裸版):https://hf-mirror.com/duuuuuuuden/flux1-nf4-unet/tree/main

image.png

NF4大模型dev整合版(T5xod、CLIP-L、VAE):

https://www.liblib.art/modelinfo/0175a2f9826d4c3a9335380940f87f58?from=search

NF4大模型整合版存放位置:ComfyUI\models\checkpoints

GGUF量化模型(city96开发版,推荐Q4)+插件:不费显卡,质量稳啊,选择多啊

特征:Q8/Q6/Q5/Q4/Q3/Q2多个版本,主要对应不同显存,比如Q4显存6g以上,效果上Q8与FP8相当,Q4与NF4相当,但比NF4稳定,速度最慢。用户评价不怎样,但NF4作者觉得GGUF挺好。均为非商业许可。

GGUF插件: https://github.com/city96/ComfyUI-GGUF  (启动界面可搜索安装)

GGUF大模型:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

GGUF大模型存放位置:ComfyUI\models\unet

一般完整版(fp16)需要24G显存才能正常驾驭,阉割版(fp8)16G就足够,nf4版本8-12G显存可正常驾驭,而gguf格式量化的如最小的Q2版本6G显存也能够正常驾驭,而且由于gguf近期展现出强劲的技术发展,充分体现降低内存需求而质量更好的特点,黑暗森林官方开始全面支持,所以nf4的版本将逐渐淘汰。

3种小模型:Xlabs插件+Lora模型+Controlnet模型+IP-Adapter模型

Xlabs插件

需要安装此插件才能使用下面3种小模型。

Xlabs插件: https://github.com/XLabs-AI/x-flux-comfyui (启动界面可搜索安装)

image.png

Lora模型(Xlabs-AI):

Xlabs-AI Lora模型:https://huggingface.co/XLabs-AI/flux-lora-collection/tree/main

Anime LoRA:精致的日式动漫风格

Art LoRA:插图艺术

Disney LoRA:呈现迪士尼动画的魔法

Furry LoRA:打造拟人化卡通角色

MJV6 LoRA:模仿 Midjourney V6 风格

Realism LoRA:照片级真实感的极致

Scenery LoRA:描绘壮丽自然与城市景观


详情参考:https://zhuanlan.zhihu.com/p/714657191

超写实黑悟空:https://www.liblib.art/modelinfo/5e4a4cc0e3674818a9f8454a63cc0115?from=search

lora模型存放位置:ComfyUI\models\xlabs\loras

Controlnet模型

Controlnet模型(Xlabs-AI)

Hed :https://huggingface.co/XLabs-AI/flux-controlnet-hed-v3/tree/main

Depth : https://huggingface.co/XLabs-AI/flux-controlnet-depth-v3/tree/main

Canny : https://huggingface.co/XLabs-AI/flux-controlnet-canny-v3/tree/main

Controlnet模型存放位置:ComfyUI\models\xlabs\Controlnets

Controlnet模型(TheMistoAI)

mistoline_flux.dev_v1.safetensors:https://huggingface.co/TheMistoAI/MistoLine_Flux.dev/tree/main

Controlnet模型mistoline_flux.dev_v1放置在:ComfyUI\models\TheMisto_model

该模型需要搭配MistoControlNet-Flux-dev插件的节点使用

Controlnet模型(shakerlaps+Instanx联合出品Union Pro版) 万能模型增强版

https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main

该模型支持7种控制模式,包括canny、tile、depth、blur、pose、gray、low quality。

配合“set shakerlaps union controlnet type”这个节点使用。

jasperai的Controlnet模型

① Flux.1-dev-Controlnet-Surface-Normals 深度法线贴图

地址:https://hf-mirror.com/jasperai/Flux.1-dev-Controlnet-Surface-Normals/tree/main

特点:生图速度快

② Flux.1-dev-Controlnet-Depth深度

地址:https://hf-mirror.com/jasperai/Flux.1-dev-Controlnet-Depth/tree/main

③ Flux.1-dev-Controlnet-Upscaler Flux高清修复放大

https://hf-mirror.com/jasperai/Flux.1-dev-Controlnet-Upscaler/tree/main

Controlnet模型存放位置:ComfyUI\models\Controlnets

ipadapter模型(Xlabs-AI)

ipadapter模型:https://hf-mirror.com/XLabs-AI/flux-ip-adapter/tree/main

V2版本:https://huggingface.co/XLabs-AI/flux-ip-adapter-v2/tree/main

ipadapter模型存放位置:ComfyUI\models\xlabs\ipadapters

CLIP模型存放位置:ComfyUI\models\clip_vision

风格迁移,效果时好时坏,出图不稳定,提示词遵循效果也不好,不推荐。

FLUX.1-dev-IP-Adapter

FLUX.1-dev-IP-Adapter模型地址:https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter

ComfyUI-IPAdapter-Flux节点地址:https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux

作用:风格迁移,效果不错,但是非常消耗资源,3060 12g生图一个小时左右。

快速生图模型

Hyper-SD快速生图模型

下载地址:https://huggingface.co/ByteDance/Hyper-SD/tree/main

分别是8步和16步生图,下载后放在Lora目录即可,使用时跟使用其他Lora一样。

Flux Turbo Lora加速模型_StarAi

阿里妈妈创意团队开发的基于FLUX.1-dev模型的8步蒸馏版。

下载地址:https://www.liblib.art/modelinfo/718ae87aceef4401bcf01172b9ea425e

教程:https://www.bilibili.com/video/BV1PWyTY2Eb6/

推荐参数:

Checkpoint: F.1基础算法模型 F.1-dev-fp8

                        F.1 dev-fp16 GGUF_t5xxl_Q8_0

                        Flux.1-lite-8B-alpha急速出图_StarAi_flux.1-lite-8B

推荐权重:1;CFG:3.1。

Flux.1-lite-8B

支持与上面的 Flux Turbo Lora 一起使用,双重加速

下载地址:https://www.liblib.art/modelinfo/e145d0c1cf204822ba1a497edc01b1ba

推荐参数:采样方法 Euler,DPM++ 2M;CFG 3.5

加速生成模型

Teacache  和 Wavespeed 轻松2~3倍加速,

支持模型:用于Flux模型、混元视频、LTX视频生成加速!

Teacache:

插件地址:https://github.com/welltop-cn/ComfyUI-TeaCache

Wavespeed 

支持模型:用于Flux模型、混元视频、LTX视频和SDXL模型生成加速!

插件地址:https://github.com/chengzeyi/Comfy-WaveSpeed

教程:https://www.wangjingxian.cn/comfyui/173921622554109.html

参考视频:https://v.douyin.com/iyEgrFTy/ 

Flux官方发布4个控制模型和2个控制Lora模型

canny线稿控制模型

下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora

Canny Controlnet lora版:https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora

说明:

  1. 虽然识别的线稿非常精准,但是生成的图丢失很多线稿细节,不好用,不推荐使用。

  2. 它还有一个对应的Lora模型,理论上基础Unet模型+Lora模型=这个canny线稿控制模型。

  3. 使用时,Flux引导写30

存放位置:ComfyUI\models\loras

下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora

Depth Controlnet lora版:https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora

说明:

  1. 效果可以,可以使用,但不突出,模型太大,没必要使用。

  2. 它也有一个对应的Lora模型,理论上基础Unet模型+Lora模型=这个depth深度控制模型。

  3. 使用时,Flux引导写30

存放位置:ComfyUI\models\loras

redux风格迁移模型

下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev

说明:

  1. 风格迁移、特征迁移、物品迁移、提取元素。

  2. 对提示词几乎无感,生图饱和度会变高。

  3. 使用此模型时需要用到3个模型

    1. flux1-dev:基础大模型

    2. sigclip_patch14-384.safetensors:存放位置ComfyUI\models\clip_vision ,用“CLIP视觉加载器”节点加载

      1. 下载地址:https://hf-mirror.com/google/siglip-so400m-patch14-384/tree/main

    3. flux1-redux-dev.safetensors:存放位置ComfyUI\models\style_models,用“风格模型加载器”节点加载

image.png

fill重绘模型

下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev 这个22g太大了,建议使用量化版本。

量化版本:https://www.liblib.art/modelinfo/cb9cbb5532c34b1d8f5356d2435f0798

说明:

  1. 专门用于局部重绘和扩图,非常好用。

  2. 使用时,Flux引导写30

存放位置:ComfyUI\mndels\unet

注意

CFG之推荐:使用FLUX模型生图时cfg设置为1,当值小于1或大于1.5时,质量会下降,所以只需要无脑设置成1即可。

采样器和调度器推荐:ipdmn + simple    uni_pc_bh2 + simple    euler + beta    euler + simple    dpmpp + sgm_uniform。

参考教程

Flux基础模型Lora、ControlNet

FLUX-ControlNet | 深度Depth、硬边缘Canny、线稿HED 指南

Flux Controlnet模型玩法与技巧全面讲解!

网友评论