MemArts :高效解决存算分离架构中数据访问的组件
2023-02-18 15:32:01 时间
摘要:计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题,提出MemArts CC分布式客户端缓存。
本文分享自华为云社区《华为云全新缓存生态组件MemArts》,作者: MichaelYun。
公有云的基础设施都是基于存算分离的架构,即计算任务运行在计算集群的虚拟机(Virtual Machine, VM)上,而数据存储在远端的对象存储(Object Storage Service, OBS)集群中。但是,由于远端OBS的数据访问速度限制,VM上的计算任务经常需要等待数据而拖慢任务的执行。
![](https://pic1.zhimg.com/80/v2-df6389502833779c21fbeeb8fee63390_720w.webp)
计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题,提出MemArts CC分布式客户端缓存。
设计简单性:在满足需求的前提下,尽量选择简单的设计实现方案。
解耦清晰:系统采用分层架构,层间划分清晰边界,保持整体架构稳定,同时整体架构能够解耦。各层之内的服务也需要清晰、明确、合理地解耦。
组件化原则:遵循内聚原则,划分组件,做到并行设计、独立开发、独立测试。
合理利用成熟部件:为加快开发速度和保持系统稳定,可能的情况下合理利用现有的成熟部件或加以改造,避免重复性“制造轮子”。
DevOps为导向:使用Microservices设计,并提高测试、运维自动化能力,保障可监控性,可调式性,以及快速定位问题的能力。
高可用性:分布式子系统必须能够处理网络、节点、进程故障挂起、超时场景,系统设计应当避免出现单点失效。
![](https://pic2.zhimg.com/80/v2-8f31d63fcfe008fa0ffc70feb72e9dc9_720w.webp)
- 无NameNode去中心化架构
- 应用解耦,可对接ModelArts、 MRS、LakeHouse等多种应用
- 基于Tier Memory的高速缓存层
- 基于数据分片的多节点并发预取
- 极轻量的缓存数据一致性校验
- DAG-driven,提前加载数据
- Locality-aware任务调度
- RDMA网络和内存计算的未来扩展
相关文章
- Java架构师大厂面试致命十连问,你接得住吗?
- 面试官:什么是Java优雅埋点API的设计思路?
- 第一次凡尔赛,字节跳动3面+腾讯6面一次过,谈谈我的大厂面经
- 苹果手机解不开怎么办?AnyMP4 iPhone Unlocker for Mac帮你轻松解决
- 【1】VScode 中文界面方法-------超简单教程
- 【4】 VScode最全面最实用的插件推荐,用了你就爱上了!
- 全网最详细超长python学习笔记、14章节知识点很全面十分详细,快速入门,只用看这一篇你就学会了!
- 面向对象五大设计原则
- 找工作、备考、面试刷题网站推荐(牛客网、力扣、计蒜客、hihocoder、七月在线)以及acm竞赛oj
- 【一】LaTeX的安装和使用、安装TeXstudio、中文界面输出设置
- 顶象为中国移动打造高效风控系统
- 规模商用不是终点:5.5G要完成两个“三级跳”
- 开放计算再造三原色:绿碳•红利•蓝海
- 英特尔小试「牛」刀,边缘计算引航智慧农场
- 总结一个问题:csdn发布文章页面为空或者创作内容管理为空
- 高考那些事儿,计算机类方向是否值得继续选择,我来给你解答。
- 太强了,全面解析缓存应用经典问题
- 关于图计算&图学习的基础知识概览:前置知识点学习(Paddle Graph L)
- Shell脚本监控网站页面正常打开情况
- Java开发桌面程序学习(一)——JavaFx+Jfoenix初始以及搭建