Hadoop伪分布安装详解(三)大数据

     1.修改主机名和用户名

     2.配置静态IP地址

     3.配置SSH无密码连接

     4.安装JDK1.7

     5.配置Hadoop

     6.安装Mysql

     7.安装Hive

     8.安装Hbase

     9.安装Sqoop

********************

  5.配置Hadoop(伪分布式) （1）通过SecureCRT上传到Centos中/opt目录，并解压文件

tar  -zxvf hadoop-2.6.0-cdh.5.6.0

       

 （2）[[email protected] etc]# cd /opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop   #配置hadoop的配置文件存放处

       

（3）修改hadoop-env.sh,在文件末尾追加   

export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0
export JAVA_HOME=/usr/java/default

（4）修改/etc/profile文件

 （5）修改core-site.xml,如下

 configuration 

 property 

 name fs.default.name /name 

 value hdfs://neusoft-master:9000 /value 

 /property 

 /configuration 

     

（6）修改hdfs-site.xml       

 configuration 

 property 

 name dfs.replication /name 

 value 3 /value 

 /property 

 property 

 name dfs.name.dir /name 

 value /opt/hdfs/name /value 

 /property 

 property 

 name dfs.data.dir /name 

 value /opt/hdfs/data /value 

 /property 

 property 

 name dfs.permissions /name 

 value false /value 

 /property 

 property 

 name dfs.permissions.enabled /name 

 value false /value 

 /property 

 /configuration 

     

（7）修改mapred-site.xml     

mapred-site.xml 在hadoop文件中是以临时文件存放，需要做如下修改之后在修改对应配置文件

cp  mapred-site.xml.template   mapred-site.xml

 configuration 

 property 

 name mapreduce.framework.name /name 

 value yarn /value 

 /property 

 /configuration 

   

（8）修改 yarn-site.xml 

 configuration 

 !-- Site specific YARN configuration properties -- 

 property 

 name yarn.resourcemanager.address /name 

 value neusoft-master:8080 /value 

 /property 

 property 

 name yarn.resourcemanager.resource-tracker.address /name 

 value neusoft-master:8082 /value 

 /property 

 property 

 name yarn.nodemanager.aux-services /name 

 value mapreduce_shuffle /value 

 /property 

 property 

 name yarn.nodemanager.aux-services.mapreduce.shuffle.class /name 

 value org.apache.hadoop.mapred.ShuffleHandler /value 

 /property 

 /configuration 

     

（9）修改slaves文件，如下指明了主节点同时运行Datanode和Nodemanager

       

（10）格式化HDFS

       在第一次启动hadoop之前必须先将HDFS格式化

       

     进入bin目录下，执行hadoop namenode -format，按照提示输入Y，格式化成功就会显示格式化成功信息。

（11）启动Hadoop并验证安装  启动Hadoop：如果是非root用户请赋予相应用户执行权限

          chmod  +x  -R  /opt/hadoop-2.6.0-cdh5.6.0/sbin

 root用户直接执行启动命令即可：./opt/hadoop-2.6.0-cdh5.6.0/sbin/start-all.sh

     

执行jps命令查看

     

  （12）验证安装，执行命令不会有出错信息即可。

[[email protected] ~]# hadoop dfs -ls / 

[[email protected]-master ~]# hadoop dfs -ls hdfs://neusoft-master:9000/

     注：如果首次安装不会出现下面两个图中的这么多文件，即首次安装不报错即可。

     

   

  （13）小实验

     hadoop dfs -mkdir  -p  /user/root/input

     在linux本地文件系统 /usr/local/filecontent/中创建文件words

     vi words    

     并写入hello you  hello me 数据

     hadoop dfs -put  /usr/local/filecontent/words  /user/root/input

     hadoop jar /opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar  wordcount  /user/root/input   /user/root/output

     执行上述三条命令是测试Hadoop自带的测试用例进行测试，之后通过以下命令查看

     hadoop dfs  -cat  /user/root/output/part-r-00000

 

END~如果对博客的内容有新的见解，请您及时给我留言，我会第一时间解决~

原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/8927.html

分布式文件系统，分布式数据库区块链并行处理（MPP）数据库，数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集