大数据需求分析
2023-03-31 11:06:33 时间
学习思路:
1.需求是什么?
2.方案是什么?
3.逻辑是什么?
4.开发中的问题?怎么解决?
整体流量概况:
1.累计用户量
2.每日新增用户量
3.每日的访问人数、次数
4.每日的全部访问人均次数、时长和深度
5.计算用户平均会话数
6.计算当日访问IP数
7.新老用户访问占比
8.每日新老用户分布情况
9.每日新老用户在各个省下的分布
10.每个页面访问次数分布
11.每个版本的使用情况
12.访问终端(app、web、小程序)分布情况
用户获取:
新增用户量=自然流量+渠道流量
渠道新增用户量
各个渠道新用户人均使用时长
各个渠道的新用户转化率
异常流量分析
用户特征:
按地区(省市区)、性别、操作系统、注册时间、浏览器(Chrome、IE、FireFox)
版本的访问的流量分析
不同版本的人均使用时长
各个版本留存
事件转化:
新老用户事件发生次数、人数、人均次数
事件次数分段分布(0~1)(1~10)(10~50)
技术选型:
1.数据量大小
2.业务需求
3.行业内的经验
4.技术成熟度
5.开发维护成本
6.总成本预算
组件版本选择:
1.不要选择最新的版本
2.最新版本半年前左右的稳定版
3. 3.1.1 3.1.2 3.2
物理机:
128G 20c 40T 8THHD 2TSSD 4W
人、电、物理机:5w
集群服务分配:
1.负载均衡
2.保证服务依赖关系尽可能在同一台节点上
数仓部署和理解,hive管理
相关文章
- 从本体论开始说起——运营商关系图谱的构建及应用
- 如何成为一名数据科学家?
- 从未见过的堂兄杀了人,你的DNA是关键证据
- 20个安全可靠的免费数据源,各领域数据任你挑
- 20个安全可靠的免费数据源,各领域数据任你挑
- 阿里云李飞飞:All in Cloud时代,云原生数据库优势明显
- 基于Hadoop生态系统的一高性能数据存储格式CarbonData(性能篇)
- 大数据告诉你:10年漫威,到底有多少角色
- TigerGraph:实时图数据库助力金融风控升级
- Splunk利用Splunk Connected Experiences和Splunk Business Flow 扩大数据访问
- 大数据开发常见的9种数据分析手段
- 以免在景区看人,我爬了5W条全国景点门票数据...
- 【实战解析】基于HBase的大数据存储在京东的应用场景
- 数据科学家告诉你哪些计算机科学书籍是你应该看的
- Kafka作为大数据的核心技术,你了解多少?
- Spring Boot 整合 Redis 实现缓存操作
- 大数据学习必须掌握的五大核心技术有哪些?
- 基于Antlr在Apache Flink中实现监控规则DSL化的探索实践
- 甲骨文再次被Gartner评为分析型数据管理解决方案魔力象限领导者
- 爬取吴亦凡微博102118条转发数据,扒一扒流量的真假