​

​

监督学习

在监督学习中，您提供给算法的训练集包括所需的解决方案，称为标签（图1-5）。

一个典型的监督学习任务是分类。垃圾邮件过滤器就是一个很好的例子：它使用许多示例电子邮件及其类（垃圾邮件或非垃圾邮件）进行训练，并且它必须学习如何对新电子邮件进行分类。

其他典型的任务是预测一个目标数值，例如汽车的价格，给定一组称为预测器的特征（里程、年龄、品牌等）。这个这类任务称为回归（ 图1-6）。1要训练系统，您需要为其提供许多汽车示例，包括它们的预测变量和它们的标签（即它们的价格）。

笔记一些回归算法也可以用于分类，反之亦然。例如，逻辑回归通常用于分类，因为它可以输出与属于给定类别的概率相对应的值（例如，20% 的可能性是垃圾邮件）。

这里是一些最重要的监督学习算法（在本书中有介绍）：

• k-最近邻

• 线性回归

• 逻辑回归

• 支持向量机 (SVM)

• 决策树和随机森林

• 神经网络

无监督学习

在无监督学习中，就像你可能会猜到，训练数据是未标记的（ 图1-7 ）。系统试图在没有老师的情况下学习。

这里是一些最重要的无监督学习算法（其中大部分在第8章和 第9章中介绍）：

• 聚类

  • K-均值

  • 星展扫描

  • 层次聚类分析 (HCA)

• 异常检测和新奇检测

  • 一类SVM

  • 隔离森林

• 可视化和降维

  • 主成分分析 (PCA)

  • 内核 PCA

  • 局部线性嵌入 (LLE)

  • t-分布随机邻域嵌入 (t-SNE)

• 关联规则学习

  • 先验

  • 辉光

为了例如，假设您有大量关于博客访问者的数据。您可能需要运行一个聚类算法来尝试检测相似的访问者组（ 图1-8）。您绝不会告诉算法访问者属于哪个组：它会在没有您帮助的情况下找到这些连接。例如，它可能会注意到 40% 的访问者是喜欢漫画书且通常在晚上阅读您的博客的男性，而 20% 是周末访问的年轻科幻爱好者。如果你使用层次聚类算法，它还可以将每个组细分为更小的组。这可以帮助您针对每个组定位您的帖子。

可视化算法也是无监督学习算法的好例子：你给它们提供了很多复杂且未标记的数据，它们会输出你的数据的 2D 或 3D 表示，可以很容易地绘制出来（ 图1-9）。这些算法试图尽可能多地保留结构（例如，试图保持输入空间中的单独集群不会在可视化中重叠），以便您可以了解数据的组织方式并可能识别出未预料到的模式。

一个相关任务是降维，其目标是在不丢失太多信息的情况下简化数据。一种方法是将几个相关的特征合并为一个。例如，汽车的行驶里程可能与其年龄密切相关，因此降维算法会将它们合并为一个代表汽车磨损的特征。这个称为特征提取。

训练数据量不足

为了一个蹒跚学步的孩子要了解苹果是什么，只需要你指向一个苹果并说“苹果”（可能重复这个过程几次）。现在孩子能够识别各种颜色和形状的苹果。天才。

机器学习还没有完全成熟。大多数机器学习算法需要大量数据才能正常工作。即使对于非常简单的问题，您通常也需要数千个示例，而对于图像或语音识别等复杂问题，您可能需要数百万个示例（除非您可以重用现有模型的部分内容）。

非代表性训练数据

在为了很好地泛化，您的训练数据必须能够代表您想要泛化到的新案例。无论您使用基于实例的学习还是基于模型的学习，都是如此。

例如，我们之前用于训练线性模型的一组国家并不完全具有代表性；一些国家失踪了。图 1-21显示了添加缺失国家后数据的样子。

如果您在此数据上训练线性模型，则得到实线，而旧模型由虚线表示。如您所见，添加一些缺失的国家不仅会显着改变模型，而且清楚地表明，这样一个简单的线性模型可能永远不会很好地工作。看起来非常富裕的国家并不比中等富裕的国家幸福（事实上，它们似乎更不幸福），相反，一些贫穷的国家似乎比许多富裕的国家幸福。

通过使用非代表性训练集，我们训练了一个不太可能做出准确预测的模型，尤其是对于非常贫穷和非常富裕的国家。

使用代表您想要概括的案例的训练集至关重要。这通常比听起来更难：如果样本太小，您将有采样噪声（即由于偶然性而导致的不具代表性的数据），但如果采样方法有缺陷，即使是非常大的样本也可能不具代表性。这个称为抽样偏差。

劣质数据

显然，如果你的训练数据充满了错误、异常值和噪声（例如，由于测量质量差），这将使系统更难检测到潜在的模式，因此您的系统不太可能表现良好。花时间清理训练数据通常是值得的。事实是，大多数数据科学家花费大量时间来做这件事。以下是您想要清理训练数据的几个示例：

• 如果某些实例显然是异常值，则简单地丢弃它们或尝试手动修复错误可能会有所帮助。

• 如果某些实例缺少一些特征（例如，5% 的客户没有指定他们的年龄），您必须决定是否要完全忽略此属性，忽略这些实例，填写缺失值（例如，使用中位数年龄），或者训练一个具有该特征的模型和一个没有该特征的模型。

不相关的特征

作为俗话说：垃圾进，垃圾出。只有当训练数据包含足够的相关特征而不是太多不相关的特征时，您的系统才能进行学习。机器学习项目成功的一个关键部分是提出一组好的特征来训练。这个过程称为特征工程，包括以下步骤：

• 特征选择（选择在现有特征中训练最有用的特征）

• 特征提取（结合现有的特征来产生更有用的特征——正如我们之前看到的，降维算法可以提供帮助）

• 通过收集新数据创建新功能

现在我们已经查看了许多不良数据的示例，让我们看一些不良算法的示例。

过度拟合训练数据

说你正在访问一个外国，出租车司机敲诈你。你可能会想说那个国家的所有出租车司机都是小偷。过度概括是我们人类经常做的事情，不幸的是，如果我们不小心，机器可能会落入同样的陷阱。在机器学习中，这被称为过拟合：这意味着模型在训练数据上表现良好，但泛化能力不佳。

图 1-22显示了一个高度过拟合训练数据的多项式生活满意度模型示例。尽管它在训练数据上的表现比简单的线性模型好得多，但你真的相信它的预测吗？

诸如深度神经网络之类的复杂模型可以检测数据中的细微模式，但如果训练集有噪声，或者如果它太小（这会引入采样噪声），那么模型很可能会检测到噪声本身的模式。显然，这些模式不会推广到新实例。例如，假设您为您的生活满意度模型提供了更多属性，包括国家名称等不具信息性的属性。在这种情况下，一个复杂的模型可能会检测到这样的模式，例如训练数据中所有名称中带有w的国家的生活满意度都大于 7：新西兰（7.3）、挪威（7.4）、瑞典（7.2）、和瑞士（7.5）。你对w有多大的信心- 满意度规则推广到卢旺达或津巴布韦？显然，这种模式在训练数据中出现纯属偶然，但模型无法判断一种模式是真实的还是仅仅是数据中噪声的结果。

约束使其更简单并降低过拟合风险的模型称为正则化。例如，我们之前定义的线性模型有两个参数，θ 0和θ 1。这为学习算法提供了两个自由度来使模型适应训练数据：它可以调整直线的高度 ( θ 0 ) 和斜率 ( θ 1 )。如果我们强迫θ1= 0，该算法将只有一个自由度，并且将更难以正确拟合数据：它所能做的就是向上或向下移动线以尽可能接近训练实例，因此它会结束在平均值附近。确实是一个非常简单的模型！如果我们允许算法修改θ1但我们强制它保持较小，那么学习算法将有效地具有介于1到 2 个自由度之间的某个位置。它将产生一个比具有两个自由度的模型更简单但比只有一个自由度的模型更复杂的模型。您希望在完美拟合训练数据和保持模型足够简单以确保它能够很好地泛化之间找到适当的平衡。

图 1-23显示了三个模型。虚线表示在以圆形表示的国家（没有以正方形表示的国家）上训练的原始模型，虚线是我们用所有国家（圆形和正方形）训练的第二个模型，实线是经过训练的模型具有与第一个模型相同的数据，但具有正则化约束。您可以看到正则化迫使模型具有更小的斜率：该模型不适合训练数据（圆圈）以及第一个模型，但它实际上可以更好地泛化到它在训练期间没有看到的新示例（正方形） .

这学习期间应用的正则化量可以由超参数控制。超参数是学习算法（不是模型）的参数。因此，它不受学习算法本身的影响；它必须在训练之前设置并在训练期间保持不变。如果你将正则化超参数设置为一个非常大的值，你将得到一个几乎平坦的模型（一个接近于零的斜率）；学习算法几乎肯定不会过度拟合训练数据，但不太可能找到好的解决方案。调整超参数是构建机器学习系统的重要组成部分（您将在下一章中看到详细示例）。

欠拟合训练数据

作为您可能会猜到，欠拟合与过拟合相反：当您的模型过于简单而无法学习数据的底层结构时，就会发生这种情况。例如，生活满意度的线性模型容易欠拟合；现实只是比模型更复杂，所以它的预测必然是不准确的，即使在训练样本上也是如此。

以下是解决此问题的主要选项：

• 选择功能更强大，参数更多的模型。

• 为学习算法提供更好的特征（特征工程）。

• 减少对模型的约束（例如，减少正则化超参数）。

退后一步

经过现在你对机器学习有了很多了解。但是，我们经历了这么多概念，您可能会感到有些失落，所以让我们退后一步，看看大局：

• 机器学习是通过从数据中学习使机器在某些任务上做得更好，而不是必须明确地编写规则。

• 有许多不同类型的 ML 系统：监督与否、批处理或在线、基于实例或基于模型。

• 在 ML 项目中，您在训练集中收集数据，然后将训练集提供给学习算法。如果算法是基于模型的，它会调整一些参数以使模型适合训练集（即，对训练集本身做出良好的预测），然后希望它也能够对新案例做出良好的预测. 如果该算法是基于实例的，它只是牢记示例并通过使用相似性度量将它们与学习的实例进行比较来推广到新实例。

• 如果您的训练集太小，或者如果数据不具有代表性、嘈杂或被不相关的特征（垃圾输入、垃圾输出）污染，系统将无法正常运行。最后，您的模型既不能太简单（在这种情况下会欠拟合），也不能太复杂（在这种情况下会过拟合）。

只有最后一个重要的话题要涵盖：一旦你训练了一个模型，你就不想仅仅“希望”它可以推广到新的案例。您希望对其进行评估并在必要时对其进行微调。让我们看看如何做到这一点。

小费

通常使用 80% 的数据进行训练并留出20% 用于测试。但是，这取决于数据集的大小：如果它包含 1000 万个实例，那么保留 1% 意味着您的测试集将包含 100,000 个实例，这可能足以很好地估计泛化误差。

超参数调整和模型选择

评估模型很简单：只需使用测试集。但是假设您在两种模型之间犹豫不决（例如，线性模型和多项式模型）：您如何在它们之间做出决定？一种选择是训练两者并比较它们使用测试集的泛化程度。

现在假设线性模型的泛化效果更好，但您想应用一些正则化以避免过度拟合。问题是，你如何选择正则化超参数的值？一种选择是为此超参数使用 100 个不同的值来训练 100 个不同的模型。假设你找到了最佳的超参数值，它可以生成具有最低泛化误差的模型——比如说，只有 5% 的误差。您将此模型投入生产，但不幸的是，它的性能不如预期，并产生 15% 的错误。刚才发生了什么？

问题是您在测试集上多次测量了泛化误差，并且您调整了模型和超参数以生成该特定集的最佳模型。这意味着该模型不太可能在新数据上表现良好。

一个这个问题的常见解决方案称为保留验证：您只需保留一部分训练集来评估几个候选模型并选择最佳模型。新的保留集称为验证集（有时称为开发集或开发集）。更具体地说，您在缩减的训练集（即完整的训练集减去验证集）上训练具有各种超参数的多个模型，然后选择在验证集上表现最佳的模型。在此保留验证过程之后，您将在整个训练集（包括验证集）上训练最佳模型，这将为您提供最终模型。最后，您在测试集上评估这个最终模型以获得泛化误差的估计。

此解决方案通常效果很好。但是，如果验证集太小，那么模型评估将不精确：您最终可能会错误地选择次优模型。相反，如果验证集太大，那么剩余的训练集会比完整的训练集小很多。为什么这很糟糕？好吧，由于最终模型将在完整的训练集上进行训练，因此比较在小得多的训练集上训练的候选模型并不理想。这就像选择最快的短跑运动员参加马拉松比赛。一解决这个问题的方法是使用许多小的验证集执行重复的交叉验证。在对其余数据进行训练后，每个验证集都会对每个模型进行一次评估。通过对模型的所有评估进行平均，您可以更准确地衡量其性能。但是有一个缺点：训练时间乘以验证集的数量。

数据不匹配

在在某些情况下，很容易获得大量用于训练的数据，但这些数据可能无法完全代表将在生产中使用的数据。例如，假设您想创建一个移动应用程序来拍摄鲜花并自动确定它们的种类。您可以轻松地在网络上下载数百万张鲜花图片，但它们并不能完全代表将在移动设备上使用该应用程序实际拍摄的图片。也许您只有 10,000 张具有代表性的照片（即，实际使用应用程序拍摄的照片）。在这种情况下，要记住的最重要的规则是验证集和测试集必须尽可能代表您希望在生产中使用的数据，因此它们应该仅由具有代表性的图片组成：您可以将它们打乱，一半放在验证集中，一半放在测试集中（确保两个集中都没有重复或接近重复）。但是在网络图片上训练你的模型之后，如果你观察到模型在验证集上的表现令人失望，你将不知道这是因为你的模型已经过拟合了训练集，还是仅仅是因为网页图片与手机应用图片不匹配。一 或者这是否只是由于网页图片和移动应用图片之间的不匹配。一 或者这是否只是由于网页图片和移动应用图片之间的不匹配。一解决方案是在另一个集合中保留一些训练图片（来自网络），Andrew Ng 称之为train-dev set。模型训练后（在训练集上，不在 train-dev 集上），您可以在 train-dev 集上对其进行评估。如果它表现良好，那么模型就不会过度拟合训练集。如果它在验证集上表现不佳，则问题一定来自数据不匹配。您可以尝试通过预处理 Web 图像以使其看起来更像移动应用程序拍摄的图片来解决此问题，然后重新训练模型。反之，如果模型在 train-dev 集上表现不佳，那么它一定是对训练集过拟合了，所以你应该尝试对模型进行简化或正则化，获取更多的训练数据，并清理训练数据。