火山引擎超清修复Beyond经典演唱会,技术能力已对外开放
7月3日晚,抖音携手环球音乐旗下厂牌宝丽金,直播经过火山引擎超清修复的Beyond Live1991生命接触演唱会及纪念音乐会精选内容,吸引了超1.4亿人次观看。
Beyond是一支成立于1983年的摇滚乐队,随着粤语音乐的兴起,Beyond乐队的名字成为一个时代的文化印记。“Beyond Live1991生命接触” 是Beyond第一次在红磡体育馆举办的演唱会,宝丽金随后发行的影碟在90年代几乎一盘难求。此后的31年中,这场演唱会成为几代歌迷的音乐启蒙和青春记忆。
受限于当时的拍摄器材、存储介质及录音设备技术,演唱会母带及网络上流传的各版本音视频质量欠佳。为了提升观看和听感体验,再现Beyond这场经典之作,火山引擎从画质和音质两个方面进行了修复。
火山引擎多媒体实验室介绍,早期软硬件设备落后,导致影片在制作、压缩、传输等过程中存在画面模糊、纹理丢失和噪声瑕疵等问题。提升画质的同时恢复尽可能多的细节,优化色彩并保留复古感,以及调节不同大小、姿态人像的修复效果,是本次修复的难点。
“我们的目标是从画面整体清晰度、人像五官复原度、色彩亮度、流畅度、美观度等方面对画质进行提升。”画质上,本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法,处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平,帧率从25fps提升到60fps。
通过人像增强算法修复,黄家驹面部的眼线、毛孔等细节清晰可见
此外,火山引擎多媒体实验室还自研自适应人像增强算法,针对人脸压缩损伤、模糊、低分辨率等问题,进行修复增强。该技术基于深度学习,在消除人脸整体的模糊和压缩损伤的同时,进一步对人脸关键的五官进行细节重建。修复后,人物面部的胡须、毛孔清晰可见,给观众带来更佳视觉感受。
在音质修复方面,火山引擎音频技术团队通过音频降噪、音频超分和响度算法,消除噪声提升音质,解决响度、噪声干扰、带宽不足等问题。
与传统降噪方案不同,本次降噪算法针对音乐场景和人声场景,实现了兼容AI降噪算法,在保留音乐和人声的前提下,抑制周围噪声。音频超分算法则对演唱会中的人声部分进行频带拓展,丰富高频信息,使人声更加清晰。从频谱图中可以看到,通过超分模块的处理,原始音频的高频部分得到了拓展和增强。
通过音频超分算法的处理,原始音频大于12kHz的高频信息得到了一定程度的补全修复
由于演唱会的拾音情况不同,导致演唱会唱歌的声音有时候相对乐器声和环境音过小,火山引擎音频技术团队利用响度算法首先单独提取唱歌的部分,然后调整唱歌部分的响度,最后再混合,使得整体的人声更加舒适。
据了解,演唱会的这些修复能力均已通过火山引擎智能处理、音频技术产品对外提供服务。另外,火山引擎还对外开放了画质全链路端到端解决方案,覆盖上传、转码、传输、消费等环节,实现视频内容在画质、码率、体验等方面的全方位优化。
数字化技术正成为驱动文化传承的力量。相关报道显示,2021年10月,西瓜视频及火山引擎推出“经典视频4K修复计划”,通过技术手段,已累计修复完成71部经典动画片,修复后的内容可在西瓜视频、鲜时光TV免费观看。
火山引擎相关负责人介绍,未来还会利用更多先进技术修复经典影像,让经典焕发新生。
相关文章
- 真正影响DevOps/DevSecOps应用的趋势是什么?
- 谁说明天上线,这货压根不知道开发流程!
- 三万字带你彻底吃透MyBatis源码!!
- 2021年如何成为一名Web开发人员
- 高性能解决线程饥饿的利器 StampedLock
- 程序员开发抢茅台脚本,两天刷榜 GitHub 后谢幕
- 大多数数据仓库项目都失败了,这里有避免失败的灵丹妙药
- 我从 17w star 的 Vuejs 中学到了什么?
- MatRec : 解决推荐系统马太效应的利器
- 用太极拳讲分布式理论,真舒服!
- 数据结构与算法之基本概念
- 看这8个DevOps重点,提高2021 生产率
- 狂揽标星3.2K,程序员的这个开源直播软件火了
- 在DevOps中整合“安全即代码”文化
- 降低代码的圈复杂度
- 一篇文章带你了解Go语言基础之网络编程
- 分库分表实战:竿头日上-千万级数据优化之读写分离
- 从您的本地机器开始学习Kubernetes
- 拥抱Kubernetes,再见了Spring Cloud
- 「算法与数据结构」时间与空间复杂度