Hadoop实战
Hadoop项目实战－用户行为分析之应用概述（二）详解大数据
1.概述 本课程的视频教程地址：《项目整体概述》 本节给大家分享的主题如下图所示： 下面我开始为大家分享第二节的内容——《项目整体概述》，下面开始今天的分享内容。 从本节开始，我们将进入到Hadoop项目的整体概述一节学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示： 下面，我们首先来看看项目的整体流程，其流程如下图所示： 项目流程可以分为4个模块，他
日期 2023-06-12 10:48:40
高可用Hadoop平台－实战
今天继续《高可用的Hadoop平台》系列，今天开始进行小规模的实战下，前面的准备工作完成后，基本用于统计数据的平台都拥有了，关于导出统计结果的文章留到后面赘述。今天要和大家分享的案例是一个基于电商网站的用户行为分析，这里分析的指标包含以下指标： 统计每日PV 每日注册用户 其他指标可以参考上述4个指标进行拓展，下面我们开始今天的分析之旅。 首先，在开发之前我们需要注意哪些问题？我们不
日期 2023-06-12 10:48:40
hadoop实战--搭建开发环境及编写Hello World
整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用java方便 进入网站：http://archive.eclipse.org/eclipse/downloads/ 选择3.71 eclipse SDK 进入下面的页面： http://archive.eclipse.org/eclipse/downloads/drops/R-3.7.1-201109091335/#
日期 2023-06-12 10:48:40
高可用Hadoop平台－Flume NG实战图解篇
今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容： Flume NG简述 单点Flume NG搭建、运行 高可用Flume NG搭建 Failover测试 下面开始今天的博客介绍。 2.Flume NG简述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统
日期 2023-06-12 10:48:40Hadoop项目实战－用户行为分析之应用概述（二）
本课程的视频教程地址：《项目整体概述》 本节给大家分享的主题如下图所示： 下面我开始为大家分享第二节的内容——《项目整体概述》，下面开始今天的分享内容。 从本节开始，我们将进入到Hadoop项目的整体概述一节学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示： 下面，我们首先来看看项目的整体流程，其流程如下图所示： 项目流程可以分为4个模块，他们分别是数据
日期 2023-06-12 10:48:40大数据Hadoop之——Apache Hudi 数据湖实战操作（FlinkCDC）
文章目录 一、概述二、Hudi 数据管理1）.hoodie文件2）数据文件 三、数据存储四、Hive 与 Hudi 集成使用1）安装mysql数据库2ÿ
日期 2023-06-12 10:48:40
大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）
文章目录 一、概述二、Hudi CLI三、Spark 与 Hudi 整合使用1）Spark 测试2）Spark 与 Hudi 整合使用1、启动spark-shell2、导入park及
日期 2023-06-12 10:48:40大数据Hadoop之——Kafka API介绍与实战操作
文章目录 一、Kafka API介绍二、实战操作1）zookeeper与kafka无鉴权1、启动服务2、示例（java版本） 2）zookeep
日期 2023-06-12 10:48:40大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
文章目录 一、概述二、Hadoop DataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、 dfs.datanode.data.dir2、dfs.datan
日期 2023-06-12 10:48:40大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
文章目录 一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点 2）HDFS组成1、Client2、NameNode（NN）3
日期 2023-06-12 10:48:40Hadoop项目实战之从HBase中读取数据
Hadoop项目实战之从HBase中读取数据 一.环境配置 1.本次实验的主要配置环境如下： 物理机：windows 10虚拟机：VMware pro 12，用其
日期 2023-06-12 10:48:40《Hadoop海量数据处理：技术详解与项目实战（第2版）》一2.2 Hadoop架构
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第2章，第2.2节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2 Hadoop架构 Hadoop主要由两部分构成：分布式文件系统HDFS和统一资源管理和调度系统YARN。正如前文所述，分布式文件系统主要是用于海量数据的存储，而YARN主要是管理集群的计算资源并根据
日期 2023-06-12 10:48:40《Hadoop实战手册》一1.2 使用Hadoop shell命令导入和导出数据到HDFS
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.2节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 使用Hadoop shell命令导入和导出数据到HDFS HDFS提供了许多shell命令来实现访问文件系
日期 2023-06-12 10:48:40《Hadoop实战手册》一1.8 从MongoDB导入数据到HDFS
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.8节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.8 从MongoDB导入数据到HDFS 本节将使用MongoInputFormat类加载MongoDB中的数据
日期 2023-06-12 10:48:40《Hadoop实战手册》一1.9 使用Pig从HDFS导出数据到MongoDB
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.9节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9 使用Pig从HDFS导出数据到MongoDB MongoDB是一种NoSQL数据库，用于存储和检索海量数据
日期 2023-06-12 10:48:40《Hadoop海量数据处理：技术详解与项目实战》一1.2 Hadoop和大数据
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第1章，第1.2节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 Hadoop和大数据 Hadoop海量数据处理：技术详解与项目实战在人们对云计算这个词汇耳熟能详之后，大数据这个词汇又在最短时间内进入大众视野。云计算对于普通人来说就像云一样，一直没有机会能够真正感受到，而大
日期 2023-06-12 10:48:40《Hadoop海量数据处理：技术详解与项目实战》一3.1 认识HDFS
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第3章，第3.1节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 3.1 认识HDFS Hadoop海量数据处理：技术详解与项目实战HDFS的设计理念源于非常朴素的思想：当数据集的大小超过单台计算机的存储能力时，就有必要将其进行分区（partition）并存储到若干台单独的计算机上
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一1.1 简介
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.1节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1 简介 Hadoop MapReduce实战手册很多年来，想要存储和分析数据的用户都需要先将数据存储在数据库中，然后再通过SQL
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一1.2 在你的机器上安装Hadoop
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.2节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.2 在你的机器上安装HadoopHadoop MapReduce实战手册本节讲述如何在本地模式下运行Hadoop。 准备工作从http
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.3节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它 Hadoop MapReduce实战手册本
日期 2023-06-12 10:48:40
《Hadoop MapReduce实战手册》一1.5 安装HDFS
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.5节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.5 安装HDFS Hadoop MapReduce实战手册HDFS是Hadoop的分布式文件系统。MapReduce任务使用HDF
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一1.7 HDFS的基本命令行文件操作
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.7节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.7 HDFS的基本命令行文件操作 Hadoop MapReduce实战手册HDFS是一个分布式的文件系统，就像一个Unix文件系统
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一1.9 在分布式集群环境中运行WordCount程序
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.9节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.9 在分布式集群环境中运行WordCount程序 Hadoop MapReduce实战手册本节将描述如何在分布式集群中运行作业。
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一第2章 HDFS进阶
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.1节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 第2章 HDFS进阶 Hadoop MapReduce实战手册本章将学习以下内容： HDFS基准测试 添加一个新的DataNode
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一2.3 添加一个新的DataNode
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.3节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.3 添加一个新的DataNode Hadoop MapReduce实战手册本节将展示如何在不重启整个集群的情况下将新节点添加到现有
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一2.4 DataNode下架
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.4节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.4 DataNode下架 Hadoop MapReduce实战手册有些时候你可能想让一个HDFS集群的一个或多个数据节点下架。本节
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一2.7 设置文件冗余因子
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.7节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.7 设置文件冗余因子 Hadoop MapReduce实战手册HDFS跨集群存储文件时，会把文件切分成粗粒度的、大小固定的块。出于
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一2.10 挂载HDFS（Fuse-DFS）
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.10节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.10 挂载HDFS（Fuse-DFS） Hadoop MapReduce实战手册Fuse-DFS项目使我们能够在Linux上挂载
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一2.11 在HDFS中合并文件
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.11节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.11 在HDFS中合并文件 Hadoop MapReduce实战手册本节将传授如何合并HDFS中的若干文件，以创建一个单独的文件
日期 2023-06-12 10:48:40《Hadoop MapReduce实战手册》一导读
本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始，但仍然可以看到深入的内容。这是一本简单的一站式指南，传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略，给出了一步步的指导和真实环境的应用示例。 Hadoop MapReduce实战手册本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始，但仍然可以看到深入的内容。这是一本简单的一站式指南，
日期 2023-06-12 10:48:40《Hadoop海量数据处理：技术详解与项目实战（第2版）》一第1章 绪论
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 ###第1章 绪论Hadoop海量数据处理：技术详解与项目实战（第2版）这是最好的时代，这是最坏的时代；这是智慧的时代，这是愚蠢的时代；这是信仰的时期，这是怀疑的时期；这是光明的季节，这是黑暗的季节；这是希望之
日期 2023-06-12 10:48:40