会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型!

浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型

时间:2024-07-02 04:07:50 来源:带水拖泥网 作者:业界 阅读:463次

浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型

声明:本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),蚂蚁模型作者:AIGC开放社区,集团授权CSS站长资源转载发布。推出

浙江大学、文本蚂蚁集团、生成实深圳大学联合推出了创新模型MaPa。蚂蚁模型

与传统纹理方法不同的集团是,MaPa通过文本能直接生成高分辨率、推出物理光照、文本超真实材质的生成实3D模型,可以极大提升游戏、蚂蚁模型VR、集团AR、推出影视等行业的文本开发效率。

研究人员在多个知名平台对MaPa进行了综合测试。生成实结果显示,在无参考图像的情况下MaPa生成的模型材质、分辨率、局部细节,比TEXTure、Text2tex、Fantasia3D等模型的效果更好。

论文地址:https://arxiv.org/abs/2404.17569

MaPa功能展示

分段图像生成

为了更好地还原用户的文本提示和提升模型质量,MaPa在生成的过程中会将3D网格细分为多个细小的分段。该过程有点类似将一幅画作分解成多个小碎块,这样每块的细节都能够独立处理,以便于后续上色和材质的精细调整。

然后,MaPa会将这些3D分段投影到2D空间中生成2D图像。为了获得最佳的2D分割图像,MaPa需要选择一个合适的视角。

通过均匀采样一系列视角,并选择能够产生最多2D分段的视角作为起始视角,以确保生成的2D图像能够尽可能多地捕捉到3D分段的细节。

在2D图像生成中,MaPa使用了ControlNet,这是一个预训练的2D扩散模型,能够根据给定的条件生成相应的2D图像。研究人员对ControlNet进行了微调,使其能够适应特定的分段条件,从而生成与3D分段更加对齐的2D图像。

3D材质分组

通常在3D模型的材质生成过程中有一个难题,就是该如何将不同的材质部分有效地组织和管理。而MaPa通过使用“材质分组”模块,来自动智能识别和分组相似材质的3D分段,从而提升渲染的质量,同时又减少了后续的优化流程。

MaPa使用了GPT-4v模型进行材质分类。GPT-4v不仅识别准确率高,对于用户的文本语义理解能力也很强,可以精准提炼出文本中的特殊材质。

此外,材质分组还内置了一个材质颜色相似性分析模块,通过反射率估计网络来评估不同分段的颜色,并在CIE颜色空间中进行比较。

如果两个分段的材质颜色足够接近,就会被归为同一组进一步提升材质的一致性。

材质图优化

对材质分好组之后,MaPa会从一个预建的材质图库中检索最相似的材质图作为初始值,再通过可微渲染模块对材质图的参数进行优化,使得渲染图像尽可能接近生成的3D模型。

在渲染的过程中MaPa使用了DiffMat v2框架,能够将材质图转换为纹理空间映射,例如,反照率图、法线图和粗糙度图等,使得选定的材质图参数使其更贴近生成的3D模型。

材质图优化模块还包括一个可微分渲染器,能够根据材质图渲染出2D图像,并与生成的3D模型进行比较,通过最小化两者之间的差异来优化材质图参数。这种方法不仅提高了材质的真实感,还保持了渲染的效率。

由于3D模型的架构比较复杂,一次难以生成精准生成。所以,MaPa使用了连续迭代的方法,可以为模型的每个部分生成一致且真实的材质,即便是那些非常复杂的3D模型架构也没问题。

(责任编辑:短视频)

相关内容
  • InstructIR官网体验入口 AI一体化图像修复神器免费在线使用地址
  • 传统车企被曝效率过低 大众CEO:我们和他们不一样
  • 今年登场!淘宝VisionPro版将与国行头显同步上市:现实1:1展示商品
  • 小女孩一脚踩断家里大理石茶几 网友:妈见打
  • 《湄公河行动》男演员确诊恶性 医生提醒:小病也应重视
  • 一句话打造Agent!李彦宏:人人都是开发者的时代到来
  • 嗅觉数字化!AI还原记忆中的味道
  • OpenAI竞争对手Mistral 正在洽谈以50亿美元估值筹集资金
推荐内容
  • 一个时代终结!HMD手机官宣:放弃诺基亚品牌
  • 37%专业人士使用生成式AI工具每周节省 5-10 小时
  • 今年登场!淘宝VisionPro版将与国行头显同步上市:现实1:1展示商品
  • 37%专业人士使用生成式AI工具每周节省 5-10 小时
  • 花掉2.5万元的快乐!全球位苹果Vision Pro用户现身:如英雄般享受欢呼
  • 刘强东数字人首播破纪录:采销东哥整场成交额超5000万