会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建!

港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建

时间:2024-07-02 03:29:53 来源:带水拖泥网 作者:业界 阅读:944次

港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建

CSS站长资源(ChinaZ.com)4月23日 消息:在数字资产创造和3D重建领域,浙大重建香港大学CVMI实验室与3D大模型公司VAST以及浙江大学的联合联合研究团队提出了一项突破性成果——SC-GS(Sparse Control Gaussian Splatting)模型。这一模型不仅在新视角合成领域掀起了革命性浪潮,模型更在动态场景的鼠标实实时交互编辑方面展现了巨大潜力。

SC-GS模型的拖拽核心优势在于其对动态高斯的稀疏控制点进行实时交互编辑的能力,用户可以通过简单的可编鼠标拖拽和键盘组合按键操作,轻松实现对重建动态场景的浙大重建编辑。

这一技术的联合灵感来源于对自然世界中大多数动态过程的观察,其中物体的模型移动往往可以通过稀疏的变形基底表示,而不需要稠密的鼠标实变形场进行建模。

SC-GS模型通过引入稀疏控制点,拖拽由神经网络预测每个控制点在不同时刻的可编运动状态,从而驱动整个场景中的浙大重建动态高斯进行变形。这种方法不仅避免了过拟合问题,联合还通过局部刚性约束,模型让控制点的运动更符合真实物理规律,进一步提升了动态新视角合成的性能。

实验结果显示,SC-GS在合成动态场景的新视角图片方面具有SOTA(State of the Art)的性能,尤其在精细的几何纹理细节保真度上表现卓越。在DNeRF数据集上的定量实验中,SC-GS实现了超过40的PSNR指标,远超现有方法。

研究人员表示,SC-GS模型的推出,不仅为数字资产的创造提供了高效与便捷的工具,也为交互式编辑开辟了新的可能性。他们期待在2024年看到更多基于高斯溅射技术的创新工作和探索。

项目主页:https://top.aibase.com/tool/sc-gs

论文链接:https://arxiv.org/pdf/2312.14937.pdf

代码仓库:https://github.com/yihua7/SC-GS

(责任编辑:小程序)

相关内容
  • 本地生活混战,顺丰得“利”
  • 戛纳0特写引热议:网友发现戛纳红毯内地艺人0镜头
  • 男子锻炼时出意外被健身器材夺命:吊脖锻炼需注意安全
  • 消息称小米SU7计划6月开启双班生产:月产能有望增至近2万台
  • 亚马逊开发名为Rufus的AI购物助手,帮用户购物
  • 儿子打碎20多个瓜爸妈脸上笑哈哈 网友点赞:情绪稳定的父母
  • 腾讯阿里,有点像抖音拼多多了
  • 字节与荣耀、小米、OPPO、vivo等共同宣布:成立智能终端大模型联盟
推荐内容
  • 女孩家中遭变故 高铁站长5秒帮改签:业务娴熟 有人情味儿
  • 出生就有1000 座换电站!乐道品牌加电 行业第二
  • DXO影像!余承东称华为Pura 70 Ultra能将望远镜、显微镜合二为一
  • Redmi性能归来!曝K70版7月发
  • 新郎在大雪中开启浪漫迎亲 网友:风雪中的浪漫
  • 巨额盈利“像捡钱”,从付费课到私董会,谁在为“海参哥们”买单?