zl程序教程

您现在的位置是:首页 >  云平台

当前栏目

《Storm实时数据处理》一1.1 简介

实时 简介 1.1 数据处理 storm
2023-09-11 14:19:11 时间

本节书摘来华章计算机《Storm实时数据处理》一书中的第1章 ,第1.1节,(澳)Quinton Anderson 著 卢誉声 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.1 简介

本章将简要介绍Storm处理系统。这将涵盖所有你想知道的内容,从搭建你的开发环境到部署Topology时需要注意的操作关注事项,再到基本的质量实践,比如对Storm Topology进行单元测试和集成测试。在阅读完本章后,你将能够构建、测试和交付基本的Storm Topology。
本书并不准备对Storm处理系统及其元语和架构进行理论介绍。我们假定你在阅读本书之前已经通过浏览如Storm wiki这样的在线资源了解了Storm的基本概念。
当系统在产品环境中能持续可靠地产生商业价值时,才能交付系统。为了实现这个目的,在开发Storm Topology时,必须始终考虑质量问题和操作注意事项。


基于 Flink 的典型 ETL 场景实现 本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手,综述数仓发展演进,然后分享基于 Flink 实现典型 ETL 场景的几个方案。
Kafka+Flink 实现准实时异常检测系统 异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做入侵检测等等。 根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时的结果分析、全局预警与规则调整等。