客快物流大数据项目(一):物流项目介绍和内容大纲
目录
物流项目介绍和内容大纲
一、项目简介
本项目基于大型物流公司研发的智慧物流大数据平台,该物流公司是国内综合性快递、物流服务商,并在全国各地都有覆盖的网点。经过多年的积累、经营以及布局,拥有大规模的客户群,日订单达上千万,如此规模的业务数据量,传统的数据处理技术已经不能满足企业的经营分析需求。该公司需要基于大数据技术构建数据中心,从而挖掘出隐藏在数据背后的信息价值,为企业提供有益的帮助,带来更大的利润和商机
该大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等。通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,实现快速、高效、经济的物流,并针对数据分析结果,提出具有中观指导意义的解决方案
物流大数据可以根据市场进行数据分析,提高运营管理效率,合理规划分配资源,调整业务结构,确保每个业务均可盈利。根据数据分析结果,规划、预计运输路线和配送路线,缓解运输高峰期的物流行为,提高客户的满意度,提高客户粘度
二、功能介绍
1、 业务系统数据主要存放到Oracle和Mysql数据库中,比如CRM系统数据在Mysql,OMS系统数据存放在Oracle中
2、OGG增量同步Oracle数据库的数据,Canal增量同步Mysql数据库的数据
3、OGG及Canal增量抽取的数据会写入到Kafka集群,供实时分析计算程序消费
4、实时分析计算程序消费kafka的数据,将消费出来的数据进行ETL操作
5、为了方便业务部门对各类单据的查询,StructureStreaming流式处理系统将数据经过JOIN处理后,将数据写入到Elastic Search中
6、StructureStreaming流处理会将数据写入到ClickHouse,Java Web后端直接将数据查询出来进行展示
7、StructureStreaming将实时ETL处理后的数据同步更新到Kudu中,方便进行数据的准实时分析、查询。Impala对kudu数据进行分析查询
8、前端应用对数据进行可视化展示
三、内容大纲
- 第1章:客快物流大数据之项目介绍及解决方案
- 第2章:客快物流大数据之docker使用
- 第3章:客快物流大数据之业务服务器环境配置
- 第4章:客快物流大数据之大数据服务器环境配置
- 第5章:客快物流大数据之实时ETL开发
- 第6章:客快物流大数据之主题及指标开发
- 第7章:客快物流大数据之实时OLAP分析
- 第8章:客快物流大数据之ES全文检索
- 第9章:客快物流大数据之数据服务开发
四、技术亮点及价值有离线业务、也有实时业务
- 基于Docker搭建异构数据源,还原企业真实应用场景
- 以企业主流的Spark生态圈为核心技术,例如:Structure Streaming
- Azkaban定时调度主题及指标统计作业
- Kudu + Impala准实时分析系统
- 使用HUE集成Impala进行数据即席查询
- ClickHouse实时存储、计算引擎
- 自定义数据源实现Spark与Clickhouse的整合
- ELK全文检索
- Spring Cloud搭建数据服务
- 存储、计算性能调优
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击