zl程序教程

学习hadoop

  • ZooKeeper学习之路 (十)Hadoop的HA集群的机架感知详解大数据

    ZooKeeper学习之路 (十)Hadoop的HA集群的机架感知详解大数据

    一、背景 Hadoop 的设计目的:解决海量大文件的处理问题,主要指大数据的存储和计算问题,其中, HDFS 解决数据的存储问题;MapReduce 解决数据的计算问题 Hadoop 的设计考虑:设计分布式的存储和计算解决方案架构在廉价的集群之上,所以,服 务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS 里的所有数据都做冗余备份,以

    日期 2023-06-12 10:48:40     
  • 一脸懵逼学习HBase---基于HDFS实现的。(Hadoop的数据库,分布式的,大数据量的,随机的,实时的,非关系型数据库)

    一脸懵逼学习HBase---基于HDFS实现的。(Hadoop的数据库,分布式的,大数据量的,随机的,实时的,非关系型数据库)

    1:HBase官网网址:http://hbase.apache.org/ 2:HBase表结构:建表时,不需要指定表中的字段,只需要指定若干个列族,插入数据时,列族中可以存储任意多个列(即KEY-VALUE,列名称-列值);一个value可以有多个版本,通过版本号来区分(时间戳) 3:要查询某一个具体的字段,需要指定坐标:表名---->行健---->列族(ColumnFamily):

    日期 2023-06-12 10:48:40     
  • 大数据学习——Hadoop第一天

    大数据学习——Hadoop第一天

    1.1 什么是HADOOP HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 HADOOP的核心组件有 HDFS(分布式文件系统) YARN(运算资源调度系统) MAPREDUCE(分布式运算编程框架) 广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈   国内外HA

    日期 2023-06-12 10:48:40     
  • hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源代码

    hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源代码

     Eclipse同maven进口hadoop源代码 1)  安装和配置maven环境变量 M2_HOME: D:\profession\hadoop\apache-maven-3.3.3 PATH: %M2_HOME%\bin; 2)  验证:mvn –version 3)  下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0

    日期 2023-06-12 10:48:40     
  • 在实践中学习Hadoop计算框架(00)

    在实践中学习Hadoop计算框架(00)

    参考书籍:《Hadoop集群程序设计与开发》 ———————————————————— 第 1 章:初识 Hadoop【理论篇】 1.为什么要学习Hadoop? 2. Hado

    日期 2023-06-12 10:48:40