划重点:

⭐️ 英伟达和特拉维夫大学研究人员共同开发了一种免训练、​英可生成连贯图片的伟达文生图模型 ConsiStory。

⭐️ ConsiStory 通过主体驱动自注意力（SDSA）和特征注入等核心模块，推文图片在不需要任何训练或调优的生图生成情况下实现图像主体的一致性。

⭐️ 该模型还包含锚图像和可重用主体功能，模型免训提供主题一致性的练可连贯参考，避免了传统训练方法中针对每个主题进行训练的​英难题。

CSS站长资源(ChinaZ.com) 2月21日 消息:英伟达与特拉维夫大学的伟达研究人员联手开发了一款名为 ConsiStory 的文生图模型（目前尚未开源），旨在解决目前文生图模型在生成内容一致性方面的推文图片挑战。

ConsiStory 采用了一种全新的生图生成方法，通过主体驱动自注意力（SDSA）和特征注入等核心模块，模型免训实现了图像主体的练可连贯一致性，无需任何训练或调优。​英

SDSA 模块是伟达 ConsiStory 的核心之一，扩大了扩散模型中自注意力层，推文图片允许不同图像中的主体保持一致的外观。通过主体蒙版遮蔽背景区域的敏感信息，不同图像中的主体可以相互 "对齐"，保持一致性。而特征注入则建立在扩散特征空间的密集对应图上，确保主体相关的纹理、颜色等细节特征在整个批次中互相 "对齐"，进一步增强了主体间的一致性。

此外，ConsiStory 还提供了锚图像和可重用主体功能，锚图像作为主题信息的参考，引导图像生成过程以保持一致性。可重用主体则通过共享预训练模型的内部激活，避免了传统方法中针对每个主题进行训练的难题，实现了0训练成本。这些功能共同助力 ConsiStory 成为一款无需训练即可生成连贯图片的文生图模型，为 AI 图像生成领域带来了新的可能性。

论文地址:https://arxiv.org/abs/2402.03286

(责任编辑：知识)