秒拍邓铮:如何做到面对二十亿视频播放请求而不慌
【51CTO.com原创稿件】变化总是在不经意间发生,说不上从什么时候起,我们在刷微博时看到的整个页面都几乎被短视频占据。
受益于移动互联基础设备的完善、4G资费的下调及智能终端设备的普及,用户不再觉得移动端的视频消费是一件奢侈的事儿,而且拍摄发布分享视频的成本也前所未有的降低了。据相关报道显示,目前视频网站来自移动端的播放量已经超过70%。人们的消费习惯日益碎片化,在微博上播放次数较多的视频,绝大多数在3分钟以内。即使这样,还有很多人在拖进度条,大家就是想尽快看到亮点。
4月14日,秒拍背后母公司一下科技高级研发总监邓铮,将作为WOTA2017 全球架构与运维技术峰会“高可用架构专场”的演讲嘉宾。在前期的采访中邓铮这样对记者说:“作为每日需要处理二十亿以上播放请求的大型视频网站,如何精准高效的将用户的每次请求迅速的真正实现播放,是充满挑战的一件事。”
邓铮 一下科技高级研发总监
邓铮是一下科技技术团队的元老,主要负责整体的后端研发工作。5年半的时间里,他和公司共同经历了从成立,到秒拍上线、小咖秀的爆发式增长、一直播的发展,再到现在业务进入了稳定增长期的过程。目前,邓铮更多的精力是和CTO汤力嘉一起在公司研发中心进行新产品的研发,并为三个APP下不同的事业部提供基础平台的技术支持。
背靠大树带来的压力
与其他的短视频应用不太一样,作为微博投资的官方指定平台,微博的任何改造都有可能给秒拍带来突发性的流量增长。因此,秒拍从一开始就要去面对承载微博亿级用户量级平台的任务,这需要系统具备随时可横向扩展的能力。
邓铮介绍,秒拍很早就在公有云上部署了自己的基础平台,使系统在应对突发流量时具有更好的弹性伸缩能力。所有逻辑请求都会考虑两级的缓存进行分流,来确保数据库的轻负载。
伴随着用户行为习惯的变化及公司产品的发展节奏,秒拍系统大约每一年半会经历一次整体升级。在业务频繁迭代的情况下,如何在海量请求下保证足够高的可用性的同时,以一个好的用户体验和较低的成本的方式来提供服务,成为秒拍团队现在努力的方向。
高性能视频调度
邓铮指出,短视频的播放不同于点播的剧集或是电影,数据会一直保持比较热的状态。很多用户拍完视频只想给身边的人分享,这就需要解决数据冷启动和快速分发的问题。
传统的视频播放系统,直接通过CDN地址进行播放。CDN是通过DNS进行调度,无法知道节点的容量,不够灵敏。例如节点带宽已经非常满了,但是请求还是不对地进入。而且在实际应用中,特别是在高峰时段,网络的抖动现象也会比较明显。
解决问题需要快速反馈,秒拍海量的用户实时播放行为就是快速反馈最佳的数据来源。基于种种需求,秒拍研发了一个高性能的社频调度系统,可以在播放完成时进行上报统计,这样能得知最准确的客户播放质量,便于实时修正调度策略。“我们采用细化用户每次播放请求的上下文,并结合近期内综合调度大数据,动态的实现了C段IP级别的调度响应及区分,在具体的实践中也取得了比较好的效果”,邓铮这样解释,并将实现方式简单归纳为:
- 通过调度系统获取用户的真实IP;
- 对IP的累积数据进行动态测试,来发现节点的可用性或对IP的访问性能相比其他节点有所下降等问,包括IP服务节点的远近,好坏,节点的负荷等。同时判断请求是否非法,视频是否不允许播放;
- 将数据会记入到新的历史数据,作为后面的加权处理,来得到一个相对精确的调度结果;
- 将每个点对应的不同CDN厂家具体的性能汇总得到一张性能的大表,快速将表反馈给下一个用户,让用户避免访问该节点,或者调度到其他节点。
邓铮告诉记者,秒拍高性能调度系统已经一年多的时间,线上运行得一直比较稳定。现在,基本一个节点在出现问题十分钟左右,就可以具体反应到结果。用户投诉率在这个系统上线后呈直线下降。
采访最后邓铮表示,秒拍在构建这套精准视频调度系统过程中积累的更多丰富经验,他将带到WOTA2017全球架构与运维技术峰会上:“我将围绕秒拍在海量播放请求下视频调度中遇到的问题、现存解决方案的不足及我们采用的核心算法,在WOTA2017高可用架构专场展开分享,希望和大家一起交流。”
我们期待邓铮老师在现场的精彩演讲。
World Of Tech 专注互联网IT技术领域
三大章节,15大技术专场,
50+国内外一线互联网精英大咖站台
打造兼顾技术视野、技术实战、技术前瞻的
密集式干货集中营!
【Tips】
使用优惠码【3C4F449DCFFCE9B3】购买参会门票,立享200元优惠!4月10日前支付有效。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】
相关文章
- STL-基本概念
- AI工衣工服智能识别系统
- 思科终于揭开加价收购Acacia的背后真相!
- 数据中心交换机2021-2025年最新市场报告!
- 中国产业区块链百花齐放,复杂美多领域再获认可
- 年轻人的第一本gRPC中文书!
- 越来越“软”的思科能否重获荣光?
- 2021年SD-WAN的六大趋势!
- 以太网控制器和适配卡2021-2025年最新预测报告!
- 由HarmonyOS 2.0搅起的陈年往事!
- 你好,SDN控制器的新兵蛋子!
- Q4财报强劲只因Arista看到了趋势
- 转义、编码和加密
- 超级震撼:1997 - 2021互联网路由大爆发
- 区块链之争,争什么?
- 号外!IEEE首次召开可编程转发Workshop
- 为什么你不应该相信人工智能搜索引擎(ChatGPT)
- 白牌交换机“经打”不“经打”?
- 闲人退散!思科正式推出25.6T交换芯片
- SDPB是(S)傻(D)蛋?