ACE++模型

admin2025-03-13358

在AI图像生成领域,阿里巴巴通义实验室再放大招!最新开源的ACE++(Advanced Contextual Editing)模型,凭借其指令驱动的高精度生成能力和多任务统一框架,ACE++ 是一款基于扩散模型的图像生成与编辑工具,支持通过自然语言指令或视觉参考,实现高质量、高一致性的图像创作。

特点

  1. 一致性生成:保持人物肖像、主题物体的跨场景一致性(如虚拟试穿、品牌标志迁移);

  2. 精准编辑:局部重绘、风格转换、元素增减,且不破坏原图结构;

  3. 多模态输入:支持文本指令、参考图像、掩码等多种条件组合,灵活适配复杂需求。

资源

  • GitHub代码库:https://github.com/ali-vilab/ACE_plus,提供预训练模型、推理代码及Colab Notebook示例。

  • 模型下载(HuggingFace):https://huggingface.co/ali-vilab/ACE_Plus,支持FP16量化版本,显存需求低至8GB。

  • 在线Demo:https://huggingface.co/spaces/scepter-studio/ACE-Plus,可体验文本+图像的多模态编辑功能。

模型

ACE++ 是基于 Black Forest labs 的 FLUX.1-dev 系列的后期训练模型,是个lora,結合Flux Fill模型使用就可,无需安装插件。Flux-Fill用以前满配的也行,如果配置不够,推荐这个FP8模型:https://civitai.com/models/969431/flux-fill-fp8,存放路径:/ComfyUI/models/diffusion_models。

  • local_editing:comfyui_local_lora16.safetensors    对图像区域重绘,用于添加或者消除物体,保留原有图像结构和风格。

  • portrait:comfyui_portrait_lora64.safetensors    参考肖像,生成一致的人物,保持人物面部特征和风格的一致性。

  • subject:comfyui_subject_lora16.safetensors    在不同场景中保持物体一致性,可以参考一张图,融入第二张图里面。

  • 即将推出 ACE++ Fully:支持更多指令化编辑和参考生成任务,进一步提升模型的功能和灵活性。

存放路径:/ComfyUI/models/loras

ACE++ 的主要功能

  • 高质量人物肖像生成:通过 ACE++ Portrait 模型,可以根据用户输入的指令生成高质量的人物肖像,同时保持人物面部特征和风格的一致性。

  • 主题一致性保持:ACE++ Subject 模型可以在不同的场景中生成具有特定主题的图像,例如将某个标志或物体放置在不同的背景中。

  • 局部图像编辑:ACE++ LocalEditing 模型支持对图像的特定区域进行重新绘制或修改,同时保留原有图像的结构和风格。

  • 风格化编辑:用户可以通过指令对图像进行风格化处理,例如将普通照片转换为艺术风格或特定的视觉效果。

  • 上下文感知内容填充:根据图像的上下文信息,智能地填充缺失或需要修改的部分,确保生成的图像在视觉上自然且一致。

  • 指令驱动的交互:用户可以通过简单的自然语言指令来控制图像的生成和编辑过程,例如指定生成特定风格的人物肖像或要求在图像中添加、删除或修改某个元素。

  • 多任务支持:ACE++ 支持多种图像处理任务,包括虚拟试穿、标志粘贴、照片修复、电影海报编辑等

参考

https://zhuanlan.zhihu.com/p/27150493782

https://zhuanlan.zhihu.com/p/22780418346

网友评论