阿里开源视频自动化剪辑工具FunClip 支持中文语音识别
CSS站长资源(ChinaZ.com)5月13日 消息:阿里巴巴通义实验室最近开源了一款名为FunClip的阿里视频自动化剪辑工具,专为精准和便捷的开源视频切片设计。FunClip能够自动识别视频中的视频识别中文语音,并允许用户根据语音内容裁剪视频,自动支持中文大大提高了视频编辑的化剪效率。
项目地址:https://github.com/alibaba-damo-academy/FunClip
在线演示:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary
FunClip的辑工具主要特点
语音识别:使用阿里巴巴的FunASR Paraformer-Large模型,确保了剪辑的语音精准性。
操作简便:用户可以根据识别的阿里语音内容选择文本片段或说话人进行视频裁剪。
语言支持:目前支持中文,开源未来将扩展支持英文视频剪辑。视频识别
FunASR工具包介绍
FunASR是自动支持中文阿里巴巴通义实验室开发的一款综合性语音识别工具包,提供端到端的化剪语音识别解决方案和一系列开源的、性能优越的辑工具预训练模型。它支持以下功能:
语音识别(ASR):提供非自回归端到端语音识别模型,语音支持多任务处理。阿里
语音活动检测(VAD)与标点恢复:通过预训练模型进行有效的语音活动区段检测,提供标点恢复功能。
模型动态部署与优化:支持预训练模型的微调和推理,提供文件转录和实时转录服务。
项目地址:https://github.com/alibaba-damo-academy/FunASR
论文:https://arxiv.org/abs/2305.11013
Paraformer模型
Paraformer是阿里巴巴达摩院语音团队开发的非自回归端到端语音识别模型,专为高效的GPU并行推理设计。它提供快速且准确的语音到文本的转换,特别适合处理长音频。Paraformer模型的核心特点包括:
高效的模型架构:采用多种网络结构和优化目标,提供高效率和准确度。
功能拓展:支持热词定制版模型和长音频模型,适用于多种应用场景。
应用场景:适用于语音输入法、语音导航、智能会议纪要等多种应用场景。
FunClip的开源为视频内容创作者和编辑者提供了一个强大的工具,使得视频剪辑更加智能化和自动化。同时,FunASR工具包和Paraformer模型的开源,也为语音识别领域的研究和应用提供了宝贵的资源。阿里巴巴通过这些开源项目,展示了其在AI技术领域的领导地位和对开放创新的承诺。
Paraformer模型地址:https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary
(责任编辑:电商)
- ·AI大模型哪家强?七大维度横评四款主流大模型!
- ·《歌手2024》华语歌手被国外歌手降维打击 韩红微博发文:我是中国歌手 我请战
- ·中国自研洲际客机C929新进展:准备适航申请
- ·英伟达开源大模型对齐框架—NeMo-Aligner
- ·刘德华在董宇辉直播间唱恭喜发财:《红毯先生》60万张电影代金券抢空
- ·大熊猫不止有黑白照 秦岭已发现11次棕色大熊猫
- ·美国加州政府测试 ChatGPT 等生成式应用于4个部门,改善税收和交通等难题
- ·《歌手2024》华语歌手被国外歌手降维打击 韩红微博发文:我是中国歌手 我请战
- ·谷爱凌和奶奶过小年 并祝福朋友们开心快乐
- ·华为Mate 50/P60升级HarmonyOS 4.2:老旗舰满血复活