hadoop学习要点
2023-09-27 14:26:55 时间
一、HDFS
(一)HDFS 概念
(二)HDFS命令行接口
(三)Java 接口
(四)文件读取和文件写入,一致性
(五)集群数据的均衡
(六)存档
(七)NameNode 单点故障问题
(八)大量小文件处理策略
(九)数据备份和恢复
(十)数据安全
(十一)负载均衡和垃圾回收
(十二)安装新节点
(十三)卸载节点
(十四)HDFS优化
(十五)HDFS格式化过程
(十六)数据压缩
(十七)当前单NameNode 的优势和劣势和改进办法
(十八)HDFS架构和设计要点
1. NameNode和DataNode
2. 文件系统的NameSpace
3. 镜像和编辑日志
4. 数据拷贝
5. 文件系统元数据的持久化
6. 通讯协议
7. 健壮性
8. 数据组织
9. 可访问性
二、Hadoop I/O
(一)数据完整性
(二)压缩
(三)序列化
(四)基于文件的数据结构
1. MapFile
2. SequenceFile
三、MapReduce 工作机制
(一)MapReduce Job运行过程
(二)TaskTaker 机制
(三)JobTraker机制
(四)任务失败
(五)Job的调度
(六)Suffer 和排序
(七)任务的执行
(八)配置优化和MapReduce Job优化
四、MapReduce Job 编写
(一)MapReduce 组件
(二)输入格式
(三)输出格式
(四)计数器
(五)链接
Map端链接
Reduce端链接
(六)排序
部分排序
全排序
辅助排序
(七)边数据分布
五、读Mysql数据
六、自定义组件
七、用MapReduce 实现矩阵乘法
八、用MapReduce 实现常见机器学习算法
九、Reduce 不均匀
分区的Key和分区函数是操作Reduce分区造成不均匀的原因,策略:修改
十、MapReduce设计模式
(一)摘要模式
(二)过滤器模式
(三)数据组织模式
(四)Join模式
(五)元模式
(六)输入输出模式
(七)吞吐量和趋势
相关文章
- 基于Hadoop集群的大规模分布式深度学习
- Hadoop 学习总结之一:HDFS简介
- Hadoop、Pig、Hive、NOSQL 学习资源收集
- 【Linux】Hadoop时钟同步
- Hadoop-2.6.5安装
- 《HBase管理指南》一1.8 Hadoop/ZooKeeper/HBase基本配置
- 《Hadoop MapReduce实战手册》一2.7 设置文件冗余因子
- Hadoop(一)Hadoop的简介与源码编译
- Hadoop和MongoDB的区别
- 大数据学习——HADOOP集群搭建
- 大数据学习——Hadoop第一天
- hadoop学习之HDFS
- Hadoop中的setOutputKeyClass和setOutputValueClass
- 《R与Hadoop大数据分析实战》一第1章 R和Hadoop入门
- 《Hadoop集群与安全》一1.3 为Hadoop集群选择操作系统
- 【毕业设计_课程设计】基于SpringCloud+Hadoop+Vue的企业级网盘系统设计与实现
- 【hadoop学习项目】6. 使用Partition自定义分区处理数据
- Hadoop学习---Zookeeper+Hbase配置学习
- 开启hadoop和Hbase集群的lzo压缩功能(转)
- Hadoop- Cluster Setup
- 应对Hadoop选择困难症 四大产品特征值得关注