一键替换视频主体!Slicedit让普通人秒变钢铁侠
CSS站长资源(ChinaZ.com)5月23日 消息:巴黎矿业大学和以色列理工学院的键替研究人员联合推出了一款创新视频模型——Slicedit。这款模型能够在不改变视频背景的换视情况下,对视频中的频主普通主要对象进行修改。例如,体S铁侠可以将冲浪者变成钢铁侠,让人秒或将转球的变钢男孩变成NBA巨星库里等。
Slicedit模型结合了文生图像的键替扩散模型和对视频时空切片的预处理。尽管修改后的换视视频可能会出现一些模糊和扭曲,但对于不熟悉专业视频编辑软件的频主普通业余人员来说,Slicedit提供了一种快速完成视频内容修改的体S铁侠方法,类似于视频版的让人秒Photoshop。这使得它非常适合用来制作搞笑视频,变钢用于鬼畜、键替抖音、换视快手等平台。频主普通
Slicedit通过以下几个关键技术克服了视频编辑中的难题:
空间时间切片:从视频的三维空间中提取的二维平面,可以是固定时间点上的视频帧,或者是特定方向上跨越时间的连续帧组合。这使得模型能够处理视频中的动态元素,同时保持背景和其他非目标区域的稳定和完整性。
扩展注意力:Slicedit改进了传统的注意力机制,使其能够处理时间序列数据。模型在处理当前帧时,不仅考虑当前帧的信息,还会考虑与之相邻的帧,从而捕捉视频帧之间的动态变化。
DDPM反演:Slicedit采用了一种反推的去噪过程,从目标数据开始,找到一组噪声向量,这些向量在经过DDPM的生成过程后能够重建原始数据。这涉及到将输入视频帧转换为噪声空间,并进行条件去噪,以符合用户的编辑标准。
研究人员表示,他们计划很快开源Slicedit模型,以便更多的开发人员可以构建自己的视频编辑器。
这项技术的发展可能会对视频编辑领域产生重大影响,使得视频编辑变得更加容易和可访问,同时也为内容创作者提供了更多创新的可能性。
论文地址:https://arxiv.org/pdf/2405.12211
(责任编辑:热点)
- ·私域近九成留存率,千万用户大盘如何从“量变”到“质变”?
- ·反了反了:RTX 5080被曝早于RTX 5090发布
- ·Hugging Face开源机器人代码库LeRobot,AI机器人研发迎来新纪元
- ·劳斯莱斯库里南系列II全球首发:前脸大变样
- ·知名车评人谈智能驾驶:无论如何进化、都不可能比我开得好
- ·谷歌推出由 Gemini 驱动的网络安全产品 强化网络钓鱼防御
- ·OpenAI将推出ChatGPT搜索引擎 可能本周发布
- ·软银、英伟达、微软都看好!自动驾驶公司Wayve融资10.5亿美元
- ·独立开发变现周刊(第122期):一个文字生成视频在线SaaS工具,年收入7.5万美元
- ·全套超1.5万!苹果新iPad Air次两种尺寸、M2降维打击