Apache Spark机器学习3.8　小结

本章，我们一步一步实现了从数据到商业的整体视图，通过这个过程我们在Spark上处理了大量的数据，并且为IFS公司建立了一个生成销售团队成功的整体视图的模型。

具体来讲，首先我们在准备好Spark计算环境和载入预处理数据之后，为每个商业需求选择了模型。第二，我们准备并约减了特征。第三，估计模型系数。第四，评估了估计模型。接着，我们解释了分析结果。最后，部署了估计得到的模型。

这一处理过程与小数据集处理过程十分相似。然而，要处理大数据，我们需要并行计算，因此，我们使用了Spark。在前面描述的处理过程中，Spark使用简单、处理迅速。

学习完本章，读者全面了解了Spark在获得整体视图的过程中如何使我们的工作更容易和快捷。与此同时，读者应该熟悉了处理大量数据的RM4E建模和开发预测性模型的过程，尤其有能力生成自己的商业整体视图。

客户流失？来看看大厂如何基于spark+机器学习构建千万数据规模上的用户留存模型 ⛵ 如何在海量用户中精准预测哪些客户即将流失？本文结合音乐流媒体平台 Sparkify 数据，详细讲解一个客户流失建模预测案例的全流程：探索性数据分析 EDA、数据处理、进一步数据探索、建模优化、结果评估。【代码与数据集亲测可运行】
图解大数据 | 建模与超参调优@Spark机器学习 本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解分类算法、回归算法、聚类算法和PCA降维算法的代码实践，并讲解超参数调优和交叉验证、训练集验证集切分等重要知识点。
图解大数据 | 工作流与特征工程@Spark机器学习 本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解机器学习工作流(Pipeline)及其构建方式，并详解讲解基于DataFrame的Spark ML特征工程，包括二值化、定边界离散化、标准化、特征抽取等。
大数据 | Spark机器学习工作流开发指南 Spark.ml是在Spark 1.2开始引入的一个包，它旨在提供一套统一的高级API，帮助用户创建和优化实用的机器学习工作流，它在原来的MLlib的基础上进行了大量的改进和优化，让Spark生态更见坚不可摧，本文就来详细介绍一下Spark机器学习工作流的基本概念和用法。