大数据读书笔记(2)-流式计算
2023-09-11 14:21:41 时间
早期和当前的"流式计算"系统分别称为"连续查询处理类"和"可扩展数据流平台类"计算系统。
流式计算系统的特点:
1)低延迟 2)极佳的系统容错性 3)极强的系统扩展能力 4)灵活强大的应用逻辑表达能力
目前典型的流式计算系统:
S4,storm,millwheel,samza,d-stream,hadoop online,mupd8等。
其中storm和millwheel是各方面比较突出的。
流式计算系统架构:
常见的流式计算系统架构分为两种:主从模式和p2p模式。
主从模式storm、millwheel和samza
p2p模式s4
samza是利用消息系统kafka和hadoop2.0的资源管理系统Yarn综合而成的,架构比较独特,但本质上遵循主从架构。
送达保证
三种可能:至少送达一次(at_least once delivery),至多送达一次(at_most once delivery),恰好送达一次(Exeact-once delivery)。
storm在系统中提供"恰好送达一次"语义是通过送达保证机制和事务拓扑联合来完成的。
samza依靠kafka的消息持久化联合broker缓存机制,保证"恰好送达一次"语义。
相关文章
- 云计算与大数据催生黑暗面 用户的错?
- 继承实现圆柱体面积体积的计算
- 第二百六十四节,Tornado框架-基于正则的动态路由映射分页数据获取计算
- “全”事件触发:阿里云函数计算与事件总线产品完成全面深度集成
- 函数计算支持应用中心功能
- 物联网、云计算、大数据、人工智能概念如何区分
- 基层民警体验大数据、云计算、人工智能带来的巨变
- 三分钟了解物联网、大数据和云计算
- 大数据催生云计算走向规模化发展
- 一图胜千言,阿里云视觉大数据智能计算实践
- 存储、传输、计算巧实现,基因数据上云不再难
- 比Hive还快10倍的大数据计算引擎
- 用Python改编 “160字符C程序计算Pi前800位”
- Open3D (C++) 计算点云的质心
- 基于表格存储的高性能监控数据存储计算方案
- ML之shap:基于FIFA 2018 Statistics(2018年俄罗斯世界杯足球赛)球队比赛之星分类预测数据集利用RF随机森林+计算SHAP值单样本力图/依赖关系贡献图可视化实现可解释性之攻略
- BigData之Spark:Spark(大数据通用的分布式开源计算引擎)的简介、下载、经典案例之详细攻略
- 北京超级云计算GPU服务器的使用教程
- 用树结构描述和计算数据
- 2303. 计算应缴税款总额
- 练习1-15 重新编写1.2节中的温度转换程序,使用函数实现温度转换计算
- Lucene4:获取中文分词结果,根据文本计算boost
- 数学之路-python计算实战(16)-机器视觉-滤波去噪(邻域平均法滤波)
- 认知计算 Cognitive Computing
- VC++计算文件和文件夹的大小(附源码)
- 浅谈Vue中计算属性computed的实现原理
- 在AVFrame中计算音视频数据大小
- 【数据挖掘】百度2015大数据云计算研发笔试卷
- 云计算|OpenStack|社区版OpenStack(实务操作---cloud-init的使用)
- 用户画像标签数据开发之标签相似度计算
- vba程序用7重循环来计算24
- python工具方法 34 语义分割数据中类别频率统计及class weight计算