数据中台/数据仓库
目前架构:
TIDB+fineBI (很好的平衡了OLTP和OLAP的数据处理需求)
1.TiDB属于对于实时数据分析的支持做的特别好,支持水平扩展与高可用,内部集成spark作为计算引擎,
2. fineBI可以拖拖拽拽就可以快速实现数据的组合和导出,丰富的报表展现形式,细致的权限控制,
建议:fineBI只作为一个展示平台,不在fineBI平台上配置比较复杂的sql逻辑,80%原始数据都在TiDB计算好后同步到fineBI
建议架构:
数据源:业务数据+日志+文档 ,通过sqoop或者别的同步工具同步到数据仓库
数据仓库:hadoop+hive(分层),离线(T+1)通过shell+hive sql或者python+hive sql来处理
实时数据:kafka+flink处理,结果同步到redis或者mysql
数据中台/开发中台
中台这个最早由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念,灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工,却接连推出爆款游戏,是全球最会赚钱的明星游戏公司。
Supercell面向全球市场推出了《部落冲突》《卡通农场》《海岛奇兵》《皇室战争》和《荒野乱斗》五款游戏,国内的中台策略做的比较好的公司是字节跳动
数据中台解决的问题可以总结为如下:
-
效率问题:为什么应用开发增加一个报表,就要7,8天时间?为什么不能实时获得用户反馈数据?当业务人员对数据产生一点疑问的时候,需要花费很长的时间,结果发现是数据源的数据变了,最终影响上线时间。产品同学提出了一个新的功能,技术同学实现后,产品同学如何快速查看新上线的功能的使用情况,比如有多少人使用,每天的点击率是多少,功能平均响应时间是多长........
-
协作问题:当业务应用开发的时候,虽然和别的项目需求大致差不多,但因为是别的项目组维护的,所以数据还是要自己再开发一遍,即重复造轮子。最终要做到对数据能够通过表的名字就知道表里边存的是什么类型的数据
相关文章
- 大数据应用之双色球算奖平台总体设计大纲篇一
- 胖子哥的大数据之路(8)- 数据仓库命名规范
- 数据仓库专题19-数据建模语言Information Engineering - IE模型(转载)
- 大数据面临的三重困难需从四个方面优化
- 对数据仓库进行数据建模
- 数据中台/数据仓库
- python后端面试第三部分:数据储存与缓存相关--长期维护
- 对数据仓库进行数据建模
- 地理数据与数据仓库
- 一文读懂:本地数据湖丨数据仓库丨云数据湖的利与弊
- hybris backoffice和产品主数据相关的一些sample data
- Dataset:数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏,持续更新)
- 一招教你数据仓库如何高效批量导入与更新数据
- 智联招聘获取python岗位的数据
- 数据科学家之路: 数据仓库开发教程 (DW)- 数据模型架构&编码规范 & 分层 ODS / DWD / DWS / ADS...
- 数据科学家之路: 数据仓库开发教程 (DW)- 数据模型架构&编码规范 & 分层 ODS / DWD / DWS / ADS...
- (DT系列六)devicetree中数据和 struct device有什么关系
- leaflet 加载CSV数据,显示图形(代码示例046)
- elasticsearch 索引搜索和索引性能优化配置——思路:去掉不必要的数据,减小数据的磁盘空间占用,同时提升性能
- 如何获取前端提交来得json格式数据
- 大数据开发笔记(四):Hive数据仓库
- JS 数据类型转换、创建对象
- 基于LS最小二乘法的数据拟合matlab仿真
- 数据仓库大数据开发学习的心路历程
- Springmvc接收json数据的4种方式
- 从事数字化转型的你,搞清楚这些数据类基础理念了吗?数据仓库、数据集市、数据湖、数据中台
- 数据仓库与数据湖、数据流到底是朋友还是敌人?