十二个经典的大数据项目
1,离线数据处理:项目内容为通过对网站访问日志的采集和清洗,结合数据库中的结构化用户数据,统计并展示网站的PV、UV情况,以对网站的运行情况进行监控。通过此项目,回顾并串联前面讲述的离线数据处理相关技术,如:FIune、Sqoop、Hive、Spark等,了解和掌握PB级数据离线处理的一般过程和架构。
2,流式数据处理:项目内容为通过对数据库交易数据修改的实时同步,监控网站实时交易情况,以提高网站交易情况监控的时效性,降低网站运行的风险。 通过此项目,回顾并串联前面讲述的实时数据处理相关技术,如:kafka、Spark、Streaning和HBase等,了解和掌握实时数据处理的一般过程和架构。
3,搜索系统:项目内容,通过网站爬虫爬取网站数据,然后基于KlastlcSeard和Klbana搭建一个完整的搜索系统。
4,系统运行情况仪表盘: 通过对网站访问日志的采集和清洗,结合数据库中的结构化用户数据,统计并展示网站的PV,UV情况,以对网站的运行情况进行监控。通过此项目,回顾并串联前面讲述的离线数据处理相关技术,如Flume,Sqoop,Hive,Spark等,掌握PB级数据离线处理的一般过程和架构。
5,推荐系统:项目内容,基于公开数据库的商品推荐,某大型互金公司产品推荐系统剖析, 通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练,了解推荐系统的一般架构和常用算法。
6, 实时交易监控系统 : 过对数据库交易数据修改的实时同步,监控网站实时交易情况,以提高网站交易情况监控的时效性,降低网站运行的风险。通过此项目,回顾并串联前面讲述的实时数据处理相关技术,如Kafka,Spark Streaming和HBase等,掌握实时数据处理的一般过程和架构。
7,推荐系统理论与实战: 讲解推荐系统的相关背景,常用算法及通用架构;基于公开数据集从零构建一个电影推荐系统。通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练,了解推荐系统的一般架构和常用算法
8,数据仓库搭建理论与实战: 讲解数据仓库搭建的方法论,常用建模理论;以互金公司数据仓库搭建场景作为切入,实例演示数据仓库搭建过程及技术架构。
9,分布式业务监控系统: 讲解业务监控系统需求背景,基于大数据的技术方案;通过实例代码搭建完整的业务监控系统
10,基于ES的日志系统 : 基于Flume,ElasticSearch等技术搭建系统日志收集与查询系统。
11,信贷需求预测系统: 以京东信贷需求预测竞赛为背景,实例讲解数据挖掘项目中如何设计特征,模型基础,建模以及调参等。
12,用户画像系统 : 讲解用户画像系统的需求背景,基于大数据技术的解决方案;通过实例代码演示用户画像系统的搭建。
相关文章
- 倒计时控件 CountDownTimer 用法和原理分析
- 是什么让苹果手机用户的忠诚度稳居高位?国产机有什么要学习的?
- 手机提示系统升级的目的是什么?究竟要不要升级?
- iPhone 13全系不再支持电信2G/3G网络 业内人士:几乎没有影响
- 入手即赚:iPhone 13贬值率比iPhone 12低50%
- 全面解析Application的使用
- 等待多年!苹果终于为中国消费者让步!
- iPhone 13全系不再支持中国电信2G/3G网络
- iOS15.1.1正式版:原来信号差不是我们的错
- 全面解析 Application 的使用
- iOS15.1.1正式版发布:修复重大Bug,通话掉线信号问题彻底解决
- 苹果为什么主动推出“自助维修”计划?
- 高德地图上线 ADAS 预警导航功能:借助视觉 AI 技术,提供车辆行人碰撞智能提醒
- 为什么微信在海外败给了中国人都不用的WhatsApp?
- 卸载手机软件很多人都做错了,只有这样操作,才能将软件删除干净
- 是谣言还是实话:手机更新系统,真的会越来越卡吗?
- 工信部:已下架 540 款违规处理用户信息等拒不整改的 App,通报 2049 款
- 屏幕旋转切换机制详解
- “元宇宙”真的是骗局吗?为什么“资本”和普通人的看法不一样?
- 想和中国空间站“同框”?超简单攻略来了