顺丰、京东等专家分享大数据平台升级与迁移经验 | ArchSummit
随着数字化转型的不断深入,在企业中,大数据平台建设是许多技术人关心的内容。随着企业的发展,数据量不断增长,原有的数据平台和数据库已经无法满足企业的需求。这时,企业需要对数据平台和数据库进行升级或迁移。但是,这个过程并不容易,需要耗费大量的时间和精力。
在大数据平台升级或迁移过程中,企业需要考虑很多因素,如数据的安全性、可靠性、稳定性等。同时,企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题,可能会导致数据丢失或损坏,给企业带来不可估量的损失。
为你给你提供更多可靠的实践案例,在即将到来的 ArchSummit 全球架构师峰会(上海站),我们设置了【大数据 + 架构应用结合】专题,邀请了顺丰科技大数据总监 蔡适择 担任专题出品人。在此专题下,我们邀请了三位嘉宾一起来分享,以下为议题详情:
第一位分享嘉宾是蔡适择,他目前负责顺丰大数据平台底盘建设及产品化工作,曾完成顺丰大数据平台从 0 至 1 的整个建设过程。随着顺丰数字化进程持续深入,业务所产生的数据量延续高速增长态势,给大数据平台带来了成本、效益方面的挑战,主要体现在高峰应对成本高、容灾算力资源浪费、数据时效性不足等。通过他的分享,你可以了解顺丰大数据平台弹性伸缩能力是如何建设的,以及了解混合云大数据平台、湖仓一体架构的优势;
第二位分享嘉宾是伍思磊,他在大数据及应用架构领域经验丰富,主导落地过供应链数据智能化、IoT 数据平台等项目。这次他将分享分享作业帮的数据库采集从 Canal 迁移到 Flink-CDC、日志采集从虚拟机迁移到容器化的实践过程,并阐述在这一过程中是如何基于云原生能力进行构建、验证,分享在迁移过程中遇到的技术难点、踩坑实践。通过他的分享,你可以了解 Canal 到 Flink-CDC 的大规模生产迁移实践,以及了解海量日志采集的容器化方案与迁移实践;
第三位分享嘉宾是韩飞,他目前负责京东集团实时大数据平台的整体技术架构演进及研发工作,在数据平台技术架构、实时计算、云原生、数据集成等领域具备丰富的实践经验。他将分享京东集团实时数据平台在不断推动数据实时化的基础上,针对资源利用率低、弹性能力差、智能化程度低等问题探索及实践。通过他的分享,你可以了解到大数据平台云原生的实践经验、了解数据实时化的技术方案及思路,以及了解如何打造平台智能化能力。
更多嘉宾正在邀请中...
活动推荐:
在 4 月 21 日和 22 日,上海,我们即将举办 ArchSummit 全球架构师峰会,本次会议旨在分享和交流最新的技术趋势和应用案例,涵盖了人工智能、云原生、大数据、架构等多个领域。我们邀请了国内外知名的技术专家、企业架构师、行业领导者等嘉宾,为您带来精彩的主题演讲、专题讨论和实践分享。欢迎你来线下交流。
相关文章
- mysql数据库数据迁移操作「建议收藏」
- .NetCore中EF Core为迁移的数据库表统一添加前缀
- 企业将业务迁移到云平台时面临的7个常见挑战
- 在OpenStack云平台上手动迁移云主机操作步骤
- Redis migrate数据迁移工具的使用教程
- 大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录详解大数据
- Oracle快速导入Dat文件实现数据迁移(oracle导入dat)
- Oracle数据库从MySQL迁移到新平台(oracle迁移mysql)
- 解决Mysql海量数据迁移之道(mysql海量数据迁移)
- ODI实现Oracle数据的管理与迁移(odioracle)
- Oracle冷备份迁移实践 (oracle 冷备份迁移)
- 从DB2到Oracle的数据导入迁移(db2导数到oracle)
- 实现Oracle数据库下NC账套的迁移(nc账套迁移oracle)
- Hive转换Oracle平台构建可靠数据迁移方案(hive转换oracle)
- 17410号 Oracle 实现平稳数据迁移(17410 oracle)