港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建
CSS站长资源(ChinaZ.com)4月23日 消息:在数字资产创造和3D重建领域,浙大重建香港大学CVMI实验室与3D大模型公司VAST以及浙江大学的联合联合研究团队提出了一项突破性成果——SC-GS(Sparse Control Gaussian Splatting)模型。这一模型不仅在新视角合成领域掀起了革命性浪潮,模型更在动态场景的鼠标实实时交互编辑方面展现了巨大潜力。
SC-GS模型的拖拽核心优势在于其对动态高斯的稀疏控制点进行实时交互编辑的能力,用户可以通过简单的可编鼠标拖拽和键盘组合按键操作,轻松实现对重建动态场景的浙大重建编辑。
这一技术的联合灵感来源于对自然世界中大多数动态过程的观察,其中物体的模型移动往往可以通过稀疏的变形基底表示,而不需要稠密的鼠标实变形场进行建模。
SC-GS模型通过引入稀疏控制点,拖拽由神经网络预测每个控制点在不同时刻的可编运动状态,从而驱动整个场景中的浙大重建动态高斯进行变形。这种方法不仅避免了过拟合问题,联合还通过局部刚性约束,模型让控制点的运动更符合真实物理规律,进一步提升了动态新视角合成的性能。
实验结果显示,SC-GS在合成动态场景的新视角图片方面具有SOTA(State of the Art)的性能,尤其在精细的几何纹理细节保真度上表现卓越。在DNeRF数据集上的定量实验中,SC-GS实现了超过40的PSNR指标,远超现有方法。
研究人员表示,SC-GS模型的推出,不仅为数字资产的创造提供了高效与便捷的工具,也为交互式编辑开辟了新的可能性。他们期待在2024年看到更多基于高斯溅射技术的创新工作和探索。
项目主页:https://top.aibase.com/tool/sc-gs
论文链接:https://arxiv.org/pdf/2312.14937.pdf
代码仓库:https://github.com/yihua7/SC-GS
(责任编辑:小程序)
- ·春节穿汉服可免费乘苏州地铁 苏州轨道交通推出春节免费乘车活动
- ·纯净无广告!微软电脑管家3.9版本发布:文件清理重磅升级
- ·索尼Xperia 1 VI官方渲染图泄露:红色辨识度高
- ·东芝首秀全新31TB、32TB硬盘!居然都是叠瓦式
- ·谷歌推时间序列预测模型TimesFM 可预测股市、天气等
- ·法拉第未来股价暴涨 贾跃亭: FF“中美汽车桥梁”作用凸显
- ·5499元起 华为Vision智慧屏 4正式发布!像玩手机一样玩电视
- ·问界新M5正式开启全国大规模交付 余承东亲自交付讲解
- ·苹果四季度财报出炉!iPhone卖了697亿美元 大中华区不及预期
- ·视频号入局本地生活服务之战,一切都是为了挣钱
- ·2B小钢炮碾压Mistral-7B,旗舰级端侧模型炸场开年黑马!1080Ti可训,170万tokens成本仅1元
- ·比Model Y便宜3万!乐道L60开启预售:21.99万元起 9月上市交付
- ·苹果挤爆牙膏!iPhone升级路线图曝光:12G内存 折叠屏来了
- ·谷歌CEO:如果OpenAI在AI训练中滥用YouTube将采取行动
- ·决战拜年之巅免费在线体验入口 ChatMindAI聊天机器人过年游戏使用地址
- ·纯净无广告!微软电脑管家3.9版本发布:文件清理重磅升级
- ·视频号入局本地生活服务之战,一切都是为了挣钱
- ·零售价近70000元!AMD宣布量产Alveo V80计算加速卡:板载32GB内存
- ·混合现实社交平台Wooorld 将3D世界地图带入用户的房间
- ·小心啊,618前封号和卖货一起在发力