Hadoop的MR
正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构
转载：http://blog.csdn.net/HADOOP_83425744/article/details/49560583 http://bigdatadecode.club/MapReduce%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90--%E7%8E%AF%E5%BD%A2%E7%BC%93%E5%86%B2%E5%8C%BA.html 一.什么是Hadoo
日期 2023-06-12 10:48:40
如何在MaxCompute上运行HadoopMR作业
本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop
日期 2023-06-12 10:48:40
Hadoop Hive 创建表及count/distinct操作（会被翻译成mr程序）
sql语句将会翻译成mapreduce程序进行执行，查看如下运行日志可知：
日期 2023-06-12 10:48:40
Hadoop大数据——MR程序map任务数的规划机制
一个inputsplit对应一个map 而inputsplit切片规划是由InputFormat的具体实现子类来实现，就是调用 InputSplits[ ] getSplits() 方法，这
日期 2023-06-12 10:48:40
Hadoop 运行jar包时 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found
错误如下 Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2154)
日期 2023-06-12 10:48:40
Hadoop TDG 3 – MR Features
Counters There are often things you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing. For example, if you were counting invalid records a
日期 2023-06-12 10:48:40【hadoop学习项目】10. 使用多级MR找出两两用户之间的共同好友
0. 项目结构 数据内容 刘灵薇 孙初丹,孙听兰,李秋翠,李绿春 王访琴 刘忆翠,钱语芙,钱平蝶 赵雅蕊 刘灵薇,刘雅蕊 王含蕾 钱语芙,李书蕾,李忆翠 钱雅蕊 李秋春,李初丹,孙听蓉 王绿春 李含烟,刘谷丝,孙秋
日期 2023-06-12 10:48:40Hadoop：用MRUnit做单元测试
借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样：编写mapper和reducer、编译、打包、提交作业和结果检索等，这个过程比较繁琐，一旦提交到分布式环境出了问题要定位调试，重复这样的过程实在无趣，因此先对MapReduce做单元测试，消除明显的代码bug尤为必要。 MRUnit简介
日期 2023-06-12 10:48:40