划重点:

1. 🚀 EgoGen是微软微软与苏黎世联邦理工学院合作推出的创新3D数据合成模型，解决第一人称视角训练数据生成的推E态数难题。

2. 🌟 该模型采用双阶段强化学习方案，创成模通过高效的新性型自我感知视觉代理和“注意”奖励，优化生成模型，数生成使虚拟人物更自然、据合据逼真地感知环境。丰富

3. 📊 经过综合评估，多模EgoGen生成的微软高质量合成数据显著提升了在头戴式摄像头建图与定位、摄像头跟踪以及第一人称视角恢复人体网格等任务上的推E态数算法性能。

CSS站长资源(ChinaZ.com) 2月23日 消息:微软近期推出的创成模EgoGen引起了广泛关注，这是新性型一项创新的3D数据合成模型，旨在应对第一人称视角训练数据生成中的数生成各种挑战。随着AR、据合据VR等设备的丰富广泛应用，第一人称应用越发增多，但相关研发面临着图像模糊、视觉混乱、遮挡等问题，给视觉模型的训练带来了重大挑战。

为了解决这一问题，微软与苏黎世联邦理工学院的研究人员共同推出了EgoGen。该模型不仅具备高效的数据生成流程，而且适用于多个自我中心感知任务，例如能够生成用于恢复自我中心视角下人体网格的数据。

EgoGen的创新之处在于采用了双阶段强化学习方案来训练生成模型。在第一阶段，研究人员使用生成模型训练虚拟人物的行为，将身体运动和感知过程巧妙结合。关键点在于使虚拟人能够通过自我感知的视觉输入看到周围的环境，并通过学习控制一组避免碰撞的运动基元的策略来做出反应，进而合成多样化的人类动作。

为了提高训练的稳定性，EgoGen采用了高效的自我感知视觉代理和“注意”奖励。这一奖励机制在强化学习优化阶段发挥关键作用，通过引导奖励函数，使虚拟人物的运动更加自然和逼真。具体而言，当虚拟人物朝着期望的方向观察时，将获得“注意”奖励的正向反馈，鼓励其在感知任务中更加专注和准确。

经过强化学习优化，研究人员成功改进了生成模型，使虚拟人物能够以最佳方式感知环境、规避障碍并达到目的地。这一过程中，“注意”奖励的实现方式根据具体情况进行调整，确保虚拟人物的注意力与任务目标保持一致。

为了验证EgoGen方法的有效性，研究人员在头戴式摄像头建图与定位、摄像头跟踪以及第一人称视角恢复人体网格等三个第一人称感知任务上进行了综合评估。通过使用EgoGen生成的高质量合成数据，并提供精确的地面真实标注，已有算法在这些任务上的性能得到了显著增强。

EgoGen的推出标志着在解决第一人称视角训练数据生成难题方面迈出了重要一步，为AR、VR等领域的发展提供了有力支持。未来随着该模型的开源，相信将有更多的开发者参与其中，共同推动该领域的发展。

产品特色和亮点包括:

论文地址:https://arxiv.org/abs/2401.08739

项目入口:https://top.aibase.com/tool/egogen

(责任编辑：电商)