hive map-reduce个数及合并小文件

long splitSize = computeSplitSize(blockSize, minSize, maxSize);
protected long computeSplitSize(long blockSize, long minSize,  
                                long maxSize) {  
  return Math.max(minSize, Math.min(maxSize, blockSize));  
}  

/******************************************************/
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));

protected long getFormatMinSplitSize() {  
    return 1;  
  }  

public static long getMinSplitSize(JobContext job) {  
    return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);  
  }  

public static final String SPLIT_MINSIZE =   
    "mapreduce.input.fileinputformat.split.minsize"; //默认值为0，所以默认minSize返回1

/******************************************************/
long maxSize = getMaxSplitSize(job);

public static long getMaxSplitSize(JobContext context) {  
    return context.getConfiguration().getLong(SPLIT_MAXSIZE,   
                                              Long.MAX_VALUE);  
  }  

 public static final String SPLIT_MAXSIZE =   
    "mapreduce.input.fileinputformat.split.maxsize";//默认maxSize返回Long.MAX_VALUE

/******************************************************/   
blockSize为配置文件中的参数dfs.block.size，默认值为128M

input的文件总个数,
input的文件大小,
集群设置的文件块大小(目前为128M, 可在Hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；

举例： 
a)假设input目录下有1个文件a,大小为780M,那么Hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数
b)假设input目录下有3个文件a,b,c,大小分别为10m，20m，130m，那么hadoop会分隔成4个块（10m,20m,128m,2m）,从而产生4个map数

即，如果文件大于块大小(128m),那么会拆分，如果小于块大小，则把该文件当成一个块

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） 
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）

#在设置reduce个数的时候也需要考虑这两个原则：使大数据量利用合适的reduce数；使单个reduce任务处理合适的数据量；

#调整hive.exec.reducers.bytes.per.reducer参数的值；
set hive.exec.reducers.bytes.per.reducer=500000000; （500M）

#调整hive.exec.reducers.max
set hive.exec.reducers.max=15

#设置reduce大小
set mapred.reduce.tasks = 15;

--设置map端输出进行合并，默认为true  
set hive.merge.mapfiles = true  
--设置reduce端输出进行合并，默认为false  
set hive.merge.mapredfiles = true  
--设置合并文件的大小  
set hive.merge.size.per.task = 256*1000*1000  
--当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。  
set hive.merge.smallfiles.avgsize=16000000