CDH安装(二)

这些都是视频中的课件，安装步骤来的，没有发现问题，老师讲的比较一般
一、安装Server服务
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

注意：如果在yum源中添加了新的包时：
1.需要删除之前的repodata文件后，重新生成；
2.重启httpd服务
3.清除yum缓存 yum clean all

二、设置元数据库为mysql
设置元数据库为mysql--前提是安装ClouderaManager Server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
旧版本：/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root 123456

提示ERROR JDBC Driver com.mysql.jdbc.Driver not found.
需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。

查看：cat /etc/cloudera-scm-server/db.properties

三、启动server服务进程（查看7180端口）
systemctl start cloudera-scm-server
查看启动日志：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
查看启动状态：
systemctl status cloudera-scm-server

netstat -an | grep 7180

四、配置本地parcel包
注意：必须要在数据库初始化后，将parcel文件放置到/opt/cloudera/parcel-repo目录中
4.1 上传cdh6的parcel等文件到opt/cloudera/parcel-repo
4.2 重命名密钥文件名
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

五、开始安装
访问Server：http://hadoop01:7180/cmf/login
账号密码均为admin

设置Parcel 更新频率为1分钟

六、swappiness和透明化
临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

七 安装服务

功能

​ 可作为一组角色实施各种管理功能

1. Activity Monitor：收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色，实际生产环境也是不需要的。
2. Host Monitor：收集有关主机的运行状况和指标信息。
3. Service Monitor：从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。
4. Event Server：聚合组件的事件并将其用于警报和搜索。
5. Alert Publisher ：为特定类型的事件生成和提供警报，实际情况下用的也少。

安装

mkdir -p /var/lib/cloudera-host-monitor
mkdir /var/lib/cloudera-service-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/