Hbase(补充)详解大数据

1、用sqoop 从mysql数据库导入数据到hbase时:

    可以用    sqoop list-databases connect jdbc:mysql://192.168.1.152:3306/ username sqoop password sqoop      测试是否可以连接到mysql数据库

2、hbase 命令时，无法删除打错的命令，解决办法：option——session options——Terminal——Enulation——选择Linux。       可以按住Ctrl +回车键删除

3、CRT 修改字体大小：option——session options——Terminal——Appearance——Front （修改背景颜色是current color scheme）

4、sqoop导入数据从mysql到hbase时，mysql中的数据类型可以使基本数据类型，不能是二进制类型的，导入hbase后，都以字节数组存储

5、创建一个列簇压缩格式为snappy的表： create CarData , { NAME = car , COMPRESSION = SNAPPY }

6、如果修改表压缩格式为snappy：

 disable  test 

 alter  test , NAME =   f , COMPRESSION =   snappy 

  NAME即column family，列族。HBase修改压缩格式，需要一个列族一个列族的修改。而且这个地方要小心，别将列族名字写错，或者大小写错误。因为这个地方任何错误，都会创建一个新的列族，且压缩格式为snappy。当然，假如你还是不小心创建了一个新列族的话，可以通过以下方式删除：

 alter  test , {NAME= f , METHOD= delete }

 enable  test 

 major_compact  test 

  describe 该表，验证是否生效

7、hbase 过滤时：

     scan.setTimeRange()      方法是左闭右开，根据数据的入库时间过滤

8、spark 从hbase 根据列值过滤器过滤出数据形成RDD：

 val conf = new SparkConf().setAppName( daycount ) 

// .setMaster( local ) 

 val sc = new SparkContext(conf) 

 val hbaseConf = HBaseConfiguration.create() 

 val tablename =     

 val sca=new Scan() 

 val filter1=new SingleColumnValueFilter(Bytes.toBytes( gps ), 

 Bytes.toBytes( GPSTime ), 

 CompareOp.LESS, 

 new BinaryComparator(Bytes.toBytes(getTodayZero_time))) 

 filter1.setFilterIfMissing(true) 

 val filter2=new SingleColumnValueFilter(Bytes.toBytes( gps ), 

 Bytes.toBytes( GPSTime ), 

 CompareOp.GREATER_OR_EQUAL, 

 new BinaryComparator(Bytes.toBytes(getYesTZero_time))) 

 filter2.setFilterIfMissing(true) 

 val filterArr=new util.ArrayList[Filter]() 

 filterArr.add(filter1) 

 filterArr.add(filter2) 

 val filterlist=new FilterList(FilterList.Operator.MUST_PASS_ALL,filterArr) 

 sca.setFilter(filterlist) 

 hbaseConf.set( hbase.zookeeper.quorum ,    ) 

 hbaseConf.set( hbase.zookeeper.property.clientPort ,  2181 ) 

// hbaseConf.set( hbase.zookeep.znode.parent ,  /hbase ) 

// hbaseConf.set( hbase.master ,    ) 

 hbaseConf.set(TableInputFormat.INPUT_TABLE, tablename) 

 hbaseConf.set(TableInputFormat.SCAN,convertScanToString(sca)) 

 val hBaseRDD = sc.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat], 

 classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], 

 classOf[org.apache.hadoop.hbase.client.Result])

原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/7734.html