字节跳动发布业内首个视频转场推荐方案,成果入选ECCV2022
近期,字节跳动智能创作团队研发了业内首个通用视频转场推荐方案AutoTransition,致力于解决目前视频剪辑中存在的学习成本高,编辑效率低等问题,该项成果目前已入选计算机视觉领域顶会ECCV2022(European Conference on Computer
Vision)。
随着短视频的迅猛发展和普及,每天都有海量用户通过视频来记录和分享生活。对于缺乏专业剪辑和视频编辑知识的普通用户而言,视频的制作和剪辑却具有很高的门槛。
AutoTransition兼顾灵活性与高性能,面向转场这一视频剪辑中最常使用的编辑元素,通过将转场推荐任务建模为多模态匹配和检索问题,从大量视频数据中自动学习转场匹配关系,实现了对任意视频和音频输入推荐高质量的转场效果。借助AutoTransition,用户可以快速一键生成优质转场视频,使剪辑效率得到显著提升。
图说:视频转场类别分类网络,训练Transition Embedding作为转场的特征表示
据介绍,相比于基于一系列预定义的策略或随机选取的剪辑方式,AutoTransition能够有效地从海量数据中学习到专业的剪辑知识,并基于对视频和音频的理解推荐高质量转场;相比于人工剪辑,AutoTransition模型能够在极短时间内完成推荐,显著提升编辑效率,并且推荐结果可媲美甚至超越专家剪辑的效果;得益于优秀的扩展性,AutoTransition可以方便地和其他的视频处理技术结合(例如视频高光提取、视频聚类和排序等),以实现更全面的视频剪辑能力,帮助视频工作者进一步提升视频编辑的效率。
目前,AutoTransition的衍生技术已经成功落地于抖音和智能创作ToB工具箱等多项业务场景中。字节跳动智能创作团队表示:首个视频转场数据集和AutoTransition代码均已开源,以期吸引更多同行关注这一新领域,共同推动智能视频剪辑的快速发展。未来,该团队准备将这一方案扩展到更多的视频剪辑元素,包括但不限于视频动画,视频贴纸和裁剪变换等,同时还将尝试和其他视频处理技术结合,以实现更全面的视频剪辑功能。
论文链接:AutoTransition: Learning to Recommend Video Transition Effects
相关文章
- 一篇运维老司机的大数据平台监控宝典(2)-联通大数据集群平台监控体系详解
- 一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
- 空中换引擎 博时基金数字化转型经验谈
- 如何高效地学习编程语言
- 作为一名阿里巴巴数据分析大牛,送给学弟学妹的经验积分
- 为什么要学习R语言
- Hadoop大数据分析平台的介绍性讨论
- 最全面的Spring学习笔记
- 16个用于数据科学和机器学习的顶级平台
- 给有抱负的数据科学家的六条建议
- 如何做一枚合格的数据产品经理
- 除Kaggle外,还有哪些顶级数据科学竞赛平台
- 一个鲜为人知却可以保护隐私的训练方法:联合学习
- 干货 :送你12个关于数据科学学习的关键提示(附链接)
- 大数据行业有多少种工作岗位,各自的技能需求是什么?
- 中国移动研究院常耀斌:商用大数据平台的研发之路
- 这些数据科学家必备的技能,你拥有哪些?
- 自学成才的开发者有何优势和劣势?
- Gartner报告:正处于数据科学与机器学习工具 “大爆炸”的时代
- Ready Computing借助InterSystems IRIS医疗版为医疗机构提供具有高度互操作性和可扩展性的解决方案