Hadoop伪分布安装详解(二)大数据
1.修改主机名和用户名
2.配置静态IP地址
3.配置SSH无密码连接
4.安装JDK1.7
5.配置Hadoop
6.安装Mysql
7.安装Hive
8.安装Hbase
9.安装Sqoop
********************
1.修改主机名和用户名 修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME=为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行
vi /etc/hosts
centos修改主机名执行useradd hadoop 添加以Hadoop为用户名的用户,执行passwd hadoop修改用户的密码 2. 配置静态IP地址
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.191.130
NETMASK=255.255.255.0
GATEWAY=192.168.191.2
PREFIX=24
DNS1=8.8.8.8
HWADDR=00:50:56:2C:72:E9
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME= System eth0
LAST_CONNECT=1482851817
注意:如果多台虚拟机复制会有问题,我罗列了遇到的问题,如果没有图形界面网络配置更简单,如果沒有問題請跳过
方法1:利用图形界面解决
(1)图形界面找见图标,编辑
(2)删除所有网络
(3)根据虚拟机配置ip,网管等
解决 Error:No suitable device found: no device found for connection System eth0
注意:VM的虚拟网卡VMnet8一定需要在windows操作系统的网络中开启,同时在虚拟机中配置正确的子网掩码及网关
存在的问题点1:
windows上的网络配置
存在的问题点2:
VM软件配置
方法2:问题复述:
复制好的虚拟机,启动登陆进去(用户名和密码跟之前那台是一样的),修改好IPADDR,然后网卡重启出现问题?
#service network restart
出现问题:Error:No suitable device found: no device found for connection System eth0 如图所示:
#ifup eth0
出现: eth0: unknown interface: No such device 这样的问题,网卡都启动不了,出现问题.
解决:
(1)我们在界面点击Network Adapter Remove删除网卡,如图所示:
(2)添加一个新的网卡,就是点击add,这时跟前面一台的MAC Address 就不一样,如图所示:
(3)复制地址
(4)重新启动虚拟机,然后进入到/etc/udev/rules.d/目录
#cat 70-persistent-net.rules
里面的信息跟我们Network Adapter的MAC Address地址一样,如图所示:
(5) 进入/etc/sysconfig/network-scripts/目录
#vi ifcfg-eth0
把HWADDR修改成Network Adapter的MAC Address地址一样,如图所示:
(6)重启网卡,这时就能正常启动,如图所示:
3.配置SSH无密码连接
(0)在Centos中首先关闭防火墙
service iptables stop(临时关闭防火墙)
永久关闭防火墙:
chkconfig iptables off
补充的防火墙内容:
systemctl start firewalld.service#启动firewall
systemctl stop firewalld.service#停止firewall
systemctl disable firewalld.service#禁止firewall开机启动
netstat -anp | grep portno(例如:netstat –apn | grep 80)
(1) 检查ssh是否安装
yum install ssh yum install rsync #远程同步数据的工具
(2)启动SSH服务命令
service sshd restart
检查SSH是否已经安装成功
rpm -qa | grep openssh rpm -qa | grep rsync
显示相应信息即可。
(3)生成SSH公钥
对于伪分布式环境只需要本机链接本机即可:
主节点执行:ssh-keygen -t rsa 一路回车即可,最后显示的图形是公钥的指纹加密。
生成公钥后需要将公钥发到本机的authorized_keys的列表,执行:
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 或ssh-copy-id -i ~/.ssh/id_rsa.pub neusoft-master(主机名)
也可以使用cat命令复制公钥到authorized_keys中,cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
如果是多机器需要需要通过scp命令赋值到主节点中,在分发至子节点。
(4)检查是否可以无密码ping通:使用”ssh 主机名”的方式验证
这里使用的是 ssh neusoft-master 无密码输入的提示,则安装成功。
如果执行上述步骤仍然不成功,有可能是~/.ssh 文件夹权限问题。执行如下程序
chmod 700 ~/.ssh #ssh文件夹一定是700权限
chmod 600 ~/.ssh/authorized_keys #authorized_keys文件夹一定是600权限
4.安装JDK(1)通过java主页下载jdk1.7.x版本,使用SecureCRT上传到Centos中
(2)卸载原来的openjdk
rpm -qa |grep jdk 如果出现openjdk就需要卸载
使用yum -y remove xxx,其中xxx为刚才rpm -qa |grep jdk的结果
(3)方法1利用tar包安装JDK
解压tar文件tar -zxvf jdk-7u80-linux-x64.tar.gz
配置环境变量 vi /etc/profile
(4)方法2利用rpm包安装JDK
如果是rpm文件只需要执行以下命令:rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm (使用该文件方便)
cd /usr/java/
ls
ln -s jdk1.7.0-cloudera lastest
ln -s /usr/java/lastest default
ls -l #环境变量配置参考如下
配置环境变量 vi /etc/profile 修改如下:
export JAVA_HOME=/opt/jdk1.7.0_80 或/usr/java/default #根據书记情况改写 export PATH=$PATH:$JAVA_HOME/bin
如下图所示:
相关文章
- ch-Character Animator 2022 下载安装教程讲解+各版本安装获取
- uto CAD2021软件安装教程(附下载方法)CAD软件全版本下载
- 大数据必知必会:Hadoop(1)单机环境安装
- Porn Data Anaylize — Hadoop安装
- 如何在 Windows 系统上安装 WordPress 本地测试
- 大数据处理平台Hadoop之安装(基于ubuntu的Hadoop2.9.0,2.X.X同适用)详解大数据
- Hadoop综合练习第十节–HBase安装部署详解大数据
- Hadoop入门进阶课程11–Sqoop介绍、安装与操作详解大数据
- Hadoop入门进阶课程12–Flume介绍、安装与应用案例详解大数据
- Hadoop伪分布安装详解(一)大数据
- Hadoop伪分布安装详解(三)大数据
- 高可用Hadoop平台-Ganglia安装部署详解大数据
- Linux下快速启动Hadoop集群(linux启动hadoop)
- Redis与Hadoop:让数据变得更加简单(redis与hadoop)
- 利用neo4j和Hadoop构建知识图谱(neo4j hadoop)
- Linux上深入了解如何在Linux上安装和使用Redis(查看redis安装在)
- MySQL初学者必备下载与安装教程(mysql下载初学者教程)