数据分析原理
历时三年匠心打造，《数据分析原理》终于出版
相信做数据分析的同行在职场中经常会遇到这种情况：被别人说业务思考高度不够，只会简单的工具和常规数据统计，缺乏创新性。我是做数据分析出身的，对此我特别有感触。抱着去市场试错的想法，2018年我在网易云课堂打造了一门课《数据分析思维案例实战》，市场反馈非常好。在我看来，这门课最大的优势就是内容的创新性。2019年的时候，我想写一本数据分析领域的创新性书籍，于是联合行业内两位资深的数据分析从业者黄怡媛、
日期 2023-06-12 10:48:40
【Python数据分析】假设检验的基本思想、原理和步骤
目录 1 假设检验的基本思想2 假设检验的基本原理3 假设检验中可能犯的错误4 假设检验的基本步骤4.1 第一步：提出假设4.2 第二步：确定理论的显著性水平
日期 2023-06-12 10:48:4077 网站点击流数据分析案例（原理及意义）
什么是点击流数据 1. WEB访问日志 即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一第1章 绪 论 1.1 什么是大数据
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章，第1.1节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第1章 绪 论 1.1 什么是大数据 1.大数据的定义“大数据”的概念起源于2008年9月《自然》（Nature）杂志刊登的名为“Big Data”的专题。2011年《科学》（Science）杂志也推出专刊“Dealing with Data”对大数据
日期 2023-06-12 10:48:40
《大数据分析原理与实践》一一1.2 哪里有大数据
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章，第1.2节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2 哪里有大数据 大数据是无处不在的。大数据包括那些数目极庞大的网络数据。有自媒体数据（比如社交网络），有日志数据（比如用户在搜索引擎上留下的大数据），还有流量最大的富媒体数据（比如视频、音频）等。例如，淘宝每天的数据量就超过50 TB；新浪微博晚
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一1.3 什么是大数据分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章，第1.3节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.3 什么是大数据分析 1.大数据分析的定义数据分析指的是用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析可以分为三个层次，即描述分析、预测分析和规范分析。描述分析是探索历史数据并描
日期 2023-06-12 10:48:40
《大数据分析原理与实践》一一1.4 大数据分析的过程、技术与难点
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章，第1.4节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4 大数据分析的过程、技术与难点 1.大数据分析的过程大数据分析的过程大致分为下面6个步骤：（1）业务理解最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将业务知识转化为数据分析问题的定义和实现目标的初步计划上。（2）数据理解数据理解阶段从
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一1.5 全书概览
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章，第1.5节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.5 全书概览 本书将较为全面地描述大数据分析的模型、技术、实现与应用。其中第2～7章介绍大数据分析模型，包括关联分析模型、分类分析模型、聚类分析模型、结构分析模型和文本分析模型；第8～11章介绍大数据分析相关的技术，包括大数据预处理、特征选择和降维
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一第2章 大数据分析模型
第2章 大数据分析模型 大数据分析模型讨论的问题是从大数据中发现什么。尽管对大数据的分析方法林林总总，但面对一项具体应用，大数据分析非常依赖想象力。例如，对患者进行智能导诊，为患者选择合适的医院、合适的科室和合适的医生。可以通过患者对病症的描述建立模型而选择合适的科室；可以基于对患者位置、医院擅长病症的信息以及患者病症的紧急程度建立模型而确定位置合适的医院；还可以根据医院当前的队列信息建立模型进
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一2.1 大数据分析模型建立方法
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章，第2.1节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1 大数据分析模型建立方法 大数据分析模型可以基于传统数据分析方法中的建模方法建立，也可以采取面向大数据的独特方法来建立。为了区分这两种模型建立方法，我们分别简称其为传统建模方法和大数据建模方法。由于这两种模型建立方法存在一些交集（如业务调研、结果
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一2.2 基本统计量
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章，第2.2节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 基本统计量 数据中的基本统计方法是基本统计量的计算，尽管简单，但是在一定程度上可以很好地反映出数据的特征和变化趋势。2.2.1 全表统计量根据反映出的数据特征类型可以将基本统计量分为两类：反映数据集中趋势的和反映数据波动大小的。能够反映数据集中
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一第3章 关联分析模型
第3章 关联分析模型 关联分析用于描述多个变量之间的关联。如果两个或多个变量之间存在一定的关联，那么其中一个变量的状态就能通过其他变量进行预测。关联分析的输入是数据集合，输出是数据集合中全部或者某些元素之间的关联关系。例如，房屋的位置和房价之间的关联关系或者气温和空调销量之间的关系。关联分析主要包括如下分析内容：（1）回归分析回归分析是最灵活最常用的统计分析方法之一，它用于分析变量之间的数量变化
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一3.1 回归分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章，第3.1节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.1 回归分析 3.1.1 回归分析概述1.回归分析的定义回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个变量（因变量）与其余变量（自变量）的依赖关系。如果只需考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一3.2 关联规则分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章，第3.2节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.2 关联规则分析 关联规则分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。或者说，关联分析是发现交易数据库中不同商品（项）之间的联系。比较常用的算法是Apriori算法
日期 2023-06-12 10:48:40
《大数据分析原理与实践》一一
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章，第3.3节,作者：王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3 相关分析 相关关系是一种非确定性的关系，例如，以X和Y分别表示一个人的身高和体重，或分别表示每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。在一些问题中，不仅经常需要考察两
日期 2023-06-12 10:48:40《大数据分析原理与实践》一一导读
本书的缘起与成书过程大数据经过分析能够产生高价值，这无疑已在大数据火爆的今天成为共识，从而使得大数据分析在“大数据+”涉及的领域（如工业、医疗、农业、教育等）有了广泛的应用。大数据分析的相关知识不仅是大数据行业的从业人员应该必备的，也是和大数据相关的各行各业的从业者需要了解的。然而，人们对大数据分析的解读有多个不同方面。从“分析”的角度解读，大数据分析可以看作统计分析的延伸；从 “数据”的角度解读
日期 2023-06-12 10:48:40《R与Hadoop大数据分析实战》一2.3 Hadoop MapReduce原理
本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章，第2.3节，作者 （印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.3 Hadoop MapReduce原理 为了更好地理解MapReduce的工作原理，我们将会：学习MapReduce对象。MapReduce中实现Map阶段的执行单元数目。MapReduce中实现Redu
日期 2023-06-12 10:48:40