hbase和zookeeper的安装和部署
大数据量 (100s TB级数据) 且有快速随机访问的需求。
例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。
容量的优雅扩展。
大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。
业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)。
优化方面:合理设计rowkey。因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求吧。
1.2软件准备hbase-0.98.8 【下载地址】
zookeeper-3.4.6 【下载地址】
sudo vi /etc/profile HBASE_HOME=/home/hadoop/source/hbase-0.98.8 ZK_HOME=/home/hadoop/source/zookeeper-3.4.6 PATH=$HBASE_HOME/bin:$ZK_HOME/bin export HBASE_HOME ZK_HOMEhbase-env.sh
删除Server1中的数据后,其他集群的Server会自动同步删除之后的数据。
3.2安装(1)解压zk的压缩包到指定位置。
(2)修改conf文件,cp zoo_sample.cfg zoo.cfg
(3)编辑zoo.cfg 修改dataDir=/home/zk/data 新增 server.0=hadoop0:2888:3888 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888
(4)创建文件夹 mkdir /home/zk/data 在data目录下,创建文件myid,值为0
(5)用scp命令分发zk文件夹到集群
3.3启动/验证启动zk的服务:zkServer.sh start
验证zk的启动状态:zkServer.sh status
4奇数选举zookeeper的集群数推荐配置奇数,Leader选举算法采用了Paxos协议,该协议的核心思想是当多数Server写成功时,则任务数据写成功,如:
有3个Server,则两个写成功即可; 有4或5个Server,则三个写成功即可; 如果有3个Server,则最多运行1个Server挂掉 如果有4个Server,则同样最多运行1个Server挂掉由此,我们可以看出3台服务器和4台服务器的容灾能力是一样的,所以为了节约服务器资源,一般我们采用奇数个数,作为服务器部署个数。
Hbase单机模式部署 HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。
相关文章
- 基于Django+LayUI+HBase的文献数据挖掘系统(附源码)
- zookeeper下载及安装教程_Zookeeper未授权访问漏洞
- 大数据之Phonenix与Hbase集成
- HBase数据定义
- Hbase连接与数据处理
- HBase查询一张表的数据条数的方法
- HBase 简介
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- Hbase(二)hbase建表详解大数据
- Hbase(五) hbase内部原理详解大数据
- HBase学习之路 (十)HBase表的设计原则详解大数据
- HBase学习之路 (九)HBase phoenix的使用详解大数据
- Hbase For Java详解大数据
- Hbase一基础详解大数据
- HBase-1.2.1之HRegionServer启动源码学习详解大数据
- HBase集群中RegionServer崩溃后的快速恢复措施探索详解大数据
- HBase查询优化之Short-Circuit Local Reads详解大数据
- HBase MemStore和Compaction剖析详解大数据
- 比较两者:HBase vs MySQL(hbase和mysql)
- 比较:HBase与MongoDB的优劣(hbase和mongodb)
- Hbase原理、基本概念、基本架构
- Redis与Hbase:探索高效缓存和分布式数据库的最佳实践(redis与hbase)
- 整合完美HBase与Oracle的联姻(hbase加oracle)
- Hbase与Oracle数据库深入比较(hbase与oracle)