Hadoop伪分布安装详解(四)大数据

     1.修改主机名和用户名

     2.配置静态IP地址

     3.配置SSH无密码连接

     4.安装JDK1.7

     5.配置Hadoop

     6.安装Mysql

     7.安装Hive

     8.安装Hbase

     9.安装Sqoop

********************

为什么要安装Mysql？  因为Hive的元数据和数据是分开存放的，数据存放在HDFS中，元数据默认存储在Derby数据库中。

但是由于Derby数据库只支持同时一个用户访问Hive，因此将数据库的配置更改为Mysql。

6.安装Mysql （1）安装Mysql客户端： 

 yum install mysql

（2）安装Mysql服务器端： 

yum install mysql-server 

yum install mysql-devel

   （3）查看Mysql的状态  

service mysqld status

     

# Mysql启动 service mysqld start 

# Mysql停止 service mysqld stop

     （4）启动Mysql后，以root用户登录Mysql：

 mysql -u root 

 mysql set PASSWORD FOR root@localhost=PASSWORD(root) #设置密码root 

 mysql -u root -p

     

     （5）创建数据库Hive，用来保存Hive元数据     

create database hive

    使用root用户操作hive中所有的表格

 GRANT all ON hive.* TO root@neusoft-master IDENTIFIED BY hivepwd 

 flush privileges; 

 select user,host from mysql.user

   如下显示：

   

 7.安装Hive     （1） 下载hive的安装包，并传到centos系统中，在对应目录解压即可

 tar -zxvf /opt/hive-1.1.0-cdh5.6.0.tar.gz

    （2）修改hive的配置文件/opt/hive-1.1.0-cdh5.6.0/conf，在conf目录下创建hive-site.xml 

[[email protected] conf]# cd /opt/hive-1.1.0-cdh5.6.0/conf/ 

[[email protected] conf]# ll 

total 20 

-rw-r--r-- 1 1106 592 1139 Jan 29 2016 beeline-log4j.properties.template 

-rw-r--r-- 1 1106 592 2459 Jan 6 21:09 hive-env.sh 

-rw-r--r-- 1 1106 592 2662 Jan 29 2016 hive-exec-log4j.properties.template 

-rw-r--r-- 1 1106 592 3505 Jan 29 2016 hive-log4j.properties.template 

-rw-r--r-- 1 root root 740 Jan 6 21:36 hive-site.xml 

[[email protected] conf]# cat hive-site.xml 

 ?xml version="1.0"? 

 ?xml-stylesheet type="text/xsl" href="configuration.xsl"? 

 configuration 

 property 

 name hive.metastore.local /name 

 value true /value 

 /property 

 property 

 name javax.jdo.option.ConnectionURL /name 

 value jdbc:mysql://neusoft-master:3306/hive?createDatabaseIfNotExist=true /value 

 /property 

 property 

 name javax.jdo.option.ConnectionDriverName /name 

 value com.mysql.jdbc.Driver /value 

 /property 

 property 

 name javax.jdo.option.ConnectionUserName /name 

 value root /value 

 /property 

 property 

 name javax.jdo.option.ConnectionPassword /name 

 value hivepwd /value 

 /property 

 /configuration 

  如图： 

   

   （3）配置hive-env.sh

     由于hive压缩包中只有hive-env.sh.template文件，因此需要复制一份文件并更改为hive-env.sh，如下命令：

cp hive-env.sh.template hive-env.sh

     [[email protected] conf]# vi  hive-env.sh 

export JAVA_HOME=/usr/java/default 

export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0

   

   （4）移动jar包到hive的lib目录下

    将Mysql的JDBC驱动jar包移动到hive-1.1.0-cdh5.6.0/lib下，否则hive不能成功连接mysql

     JDBC的jar包应选择相应版本，如：mysql-connector-5.1.30.jar，这里不是下载mysql安装包，而是找到mysql启动包放进lib目录下。

（5）环境变量配置  

vi /etc/profile #更改如下

export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.0 

export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin 

 

   source  /etc/profile  #环境变量生效

  （6）验证安装

  首先启动Hadoop和Mysql，在执行Hive

 执行创建表结构：create  table  test(id int);

  执行含有mapreduce的查询

 

  补充：如果用户通过SecureCRT链接虚拟机，则会出现进入hive命令行后无法使用退格键的情况？

           详细描述： 通过SecureCRT连接服务器，使用Hive时，不能用Backspace或delete时

            解决方案：在选项里面有个会话选项 终端 仿真选项里面终端选择linux即可。

   

 END~

   

原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/8928.html

分布式文件系统，分布式数据库区块链并行处理（MPP）数据库，数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集