中秋,和千年前的朋友一起上央视
昨天,杭州图书馆和达摩院的合作项目
(福利推荐:阿里云、腾讯云、华为云服务器最新限时优惠活动,云服务器1核2G仅88元/年、2核4G仅698元/3年,点击这里立即抢购>>>)
「AI算法复现古人“吟咏”中秋画面」
获得了CCTV13的报道
???
点击查看视频
在中秋到来之际,杭州图书馆利用达摩院AI算法,首次让馆藏文献《宋画全集》中的《韩熙载夜宴图》、《阆苑女仙图》等十多幅古籍书画中的人物“动”起来:
这些古籍书画中的人物不仅能够朗诵中秋相关的诗词,他们的五官、神态还会随着节奏发生变化。
古画:宋画全集《韩熙载夜宴图》
朗诵内容:《念奴娇·中秋对月》·文征明
古画:宋画全集《调鹦图》
朗诵内容:《水调歌头·明月几时有》·苏轼
古画:宋画全集《阆苑女仙图》 朗诵内容
朗诵内容:《中秋赋》(观潮)
古籍书画既要保护也要传承,达摩院希望通过AI技术让古籍书画更加生动,让大家更好地读懂它们并了解历史文化。
让古籍书画人物“复活”和以往的图像识别任务不同,最终生成的视频既要保留原有插图人物形象又要增添接近真人的神态,这涉及到「人脸关键点分析」和「视频生成」2项AI算法。
此外,在合成的过程中还有两大难题:
运动敏感问题:让古籍书画“活”起来需要一段真人朗诵视频,但朗诵者头部运动幅度较大,容易导致生成视频变得模糊,从而会引起明显的边际效应,使得视频看起来并不协调。
达摩院设计了一种EAN (Edge-aware Attention Network),通过不同的权重来调整朗诵视频的局部运动模式,越靠近外侧边界的地方,权值越小,这样能够使生成的视频和原图具有很好的契合度,整个头部的运动具有平滑的过渡,进而能够提升对朗诵视频的运动干扰。
清晰度问题:因为古籍书画的清晰度较低,AI算法既要保持原有的古风古韵,也要为图画增加逼真的五官动作、表情。
达摩院视觉团队尝试将生成人脸的分辨率提升到512*512,同时尝试增加主干模型的复杂度以提高模型的容量,以提高生成视频的清晰度。
此外,因为古籍书画有许多的侧脸、头部歪着等案例,AI需要学习丰富的头部姿态,以增强算法在典籍图像上的鲁棒性。
杭州图书馆副馆长梁亮表示:“我们希望用古籍与AI技术结合的方式,来推动图书馆与新技术的融合发展。传承历史文化不再是限于纸上,而是科技化的呈现在读者的眼前。”
你还在原价购买阿里云、腾讯云、华为云、天翼云产品?那就亏大啦!现在申请成为四大品牌云厂商VIP用户,可以3折优惠价购买云服务器等云产品,并且可享四大云服务商产品终身VIP优惠价,还等什么?赶紧点击下面对应链接免费申请VIP客户吧:
相关文章
- Jgit的使用笔记
- 利用Github Action实现Tornadofx/JavaFx打包
- 叹息!GitHub Trending 即将成为历史!
- 微软软了?开源社区讨论炸锅,GitHub CEO 亲自来答
- GitHub Trending 列表频现重复项,前后端都没去重?
- Photoshop Elements 2021版本软件安装教程(mac+windows全版本都有)
- (ps全版本)Photoshop 2020的安装与破解教程(mac+windows全版本都有)
- (ps全版本)Photoshop cc2018的安装与破解教程(mac+windows全版本,包括2023
- 环境搭建:Oracle GoldenGate 大数据迁移到 Redshift/Flat file/Flume/Kafka测试流程
- 每个开发人员都要掌握的:最小 Linux 基础课
- 来撸羊毛了!Windows 环境下 Hexo 博客搭建,并部署到 GitHub Pages
- 超实用!手把手入门 MongoDB:这些坑点请一定远离
- 【GitHub日报】22-10-09 zustand、neovim、webtorrent、express 等4款App今日上新
- 【GitHub日报】22-10-10 brew、minio、vite、seaweedfs、dbeaver 等8款App今日上新
- 【GitHub日报】22-10-11 cobra、grafana、vue、ToolJet、redwood 等13款App今日上新
- Photoshop 2018 下载及安装教程(mac+windows全版本都有,包括最新的2023)
- Photoshop 2017 下载及安装教程(mac+windows全版本都有,包括最新的2023)
- Photoshop 2020 下载及安装教程(mac+windows全版本都有,包括最新的2023)
- Photoshop 2023 资源免费下载(mac+windows全版本都有,包括最新的2023)
- 最新版本Photoshop CC2018软件安装教程(mac+windows全版本都有,包括2023