Hadoop 2.0.2和Hive 0.10.0单机伪集群配置
2023-04-18 14:41:50 时间
Hadoop:
1.安装JDK 1.6以上
2.下载Hadoop包
3.添加环境变量:
- export JAVA_HOME=/usr/lib/jvm/java-7-sun
- export JRE_HOME=$JAVA_HOME/jre
- export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
- export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
- export HADOOP_PREFIX=/home/nachuang/Hadoop/hadoop-2.0.2-alpha
4.修改配置文件:
1).core-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/tmp</value>
- </property>
- </configuration>
2).hdfs-site.xml:
- <configuration>
- <property>
- <name>dfs.name.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog1,
- /home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog2</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/data1,
- /home/nachuang/Hadoop/hadoop-2.0.2-alpha/data2</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
Hive:
只需添加两个环境变量:
- export HADOOP_HOME=$HADOOP_PREFIX
- port HIVE_HOME=/home/nachuang/hive-0.10.0-bin
在hdfs 启动以后,启动hive 的cli 。
默认的配置使用的是derby数据库,
创建的表可以在hdfs上看到。
原文链接:http://blog.csdn.net/edwardvsnc/article/details/8551423
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!