学术顶会再突破!计算平台 MaxCompute 论文入选国际顶会VLDB 2021
一、顶会概览
VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。
作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。
多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术会议,借助布道的力量,传播阿里云技术优势,为推动开放共赢的云计算生态作出积极贡献。
二、首次提出多种执行模式和调度策略混合的动态设计
Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计,允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式作业进行多层次的动态调整,为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。
”如何在超大规模集群和系统中,同时管理多种计算负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。
Fangorn执行框架整体架构
三、首个基于TVR Cost模型的通用增量计算优化器框架
Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架,在集成众多现有增量计算方法的同时,用户可以随时增添任意自定义增量计算方法。
世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短作业运行时间的同时,节省大量计算资源。
四、阿里云布道师、论文作者:
论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on
Shared Clusters
陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人
论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing
王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人
五、延伸阅读:
VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。
论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(http://vldb.org/pvldb/vol14/p2972-chen.pdf)
论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(http://www.vldb.org/pvldb/vol14/p14-wang.pdf)
相关文章
- EasyCVR对接华为iVS订阅摄像机和用户变更请求接口介绍
- 精选 | 腾讯云CDN内容加速场景有哪些?
- 模块化网络防止基于模型的多任务强化学习中的灾难性干扰
- 用搜索和注意力学习稳健的调度方法
- 用于多变量时间序列异常检测的学习图神经网络
- 助力政企自动化自然生长,华为WeAutomate RPA是怎么做到的?
- 使用腾讯轻量云搭建Fiora聊天室
- TSRC安全测试规范
- 云计算“功守道”
- 助力成本优化,腾讯全场景在离线混部系统Caelus正式开源
- Flink 利器:开源平台 StreamX 简介
- 腾讯云实践 | 一图揭秘腾讯碳中和?解决方案
- 深度学习中的轻量级网络架构总结与代码实现
- 信息系统项目管理师(高项复习笔记三)
- Adobe国际认证让科技赋能时尚
- c++该怎么学习(面试吃土记)
- 面试官问发布订阅模式是在问什么?
- 面试官:请实现一个通用函数把 callback 转成 promise
- 空中悬停、翻滚转身、成功着陆,我用强化学习「回收」了SpaceX的火箭
- 中山大学林倞解读视觉语义理解新趋势:从表达学习到知识及因果融合