划重点:

🔍 提供了一个可控制相机姿态的可控制图像到视频生成框架

🔍 引入 Plücker 坐标和极线约束注意力，实现了三维一致性

🔍 通过结构光算法对真实世界视频进行微调，相机像改进了对象运动的致图合成效果

CSS站长资源(ChinaZ.com) 6月5日 消息:研究提出了一种新颖的可控制相机姿态的图像到视频生成框架 ——CamCo，用于生成高质量、视频生成三维一致的可控制视频。通过引入 Plücker 坐标，相机像为预训练的致图图像到视频生成器提供了精确参数化的相机姿态输入。

产品入口网址：https://top.aibase.com/tool/camco

为了增强生成的视频生成视频的三维一致性，研究人员在每个注意力模块中集成了极线约束注意力模块，可控制以对特征图施加极线约束。相机像此外，致图通过结构光算法对真实世界视频进行微调，视频生成以改进对象运动的可控制合成效果。实验结果表明，相机像与之前的致图模型相比，CamCo 在三维一致性和相机控制能力方面有显著的改进，同时能够有效地生成合理的对象运动。

CamCo 是一个全新的可控制相机的图像到视频生成框架，可以生成高质量、三维一致的视频。CamCo 通过使用 Plücker 坐标和极线约束注意力块将相机参数注入模型中。研究人员还引入了一个数据筛选流程，用于处理带有动态主体的真实世界视频，并通过这个筛选后的数据集对 CamCo 进行微调，以提高其生成具有相机自我运动和动态主体的视频的能力。

给定一张单独的图片和一个相机序列作为输入，CamCo 模型可以合成符合相机条件并具有三维一致性的视频。我们支持室内、室外、以物体为中心的和文本到图像生成的图片。最后一行的提示为 "一个繁茂的花园，里面有各种颜色的盛开的玫瑰，中间蜿蜒着一条石子路"，第一帧的相机姿态以紫色显示。

(责任编辑：知识)