度量学习(Metric Learning)【AMSoftmax、Arcface】
一、概述
度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning,DML) == 相似度学习。
在数学中,一个度量(或距离函数)是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。度量学习(Metric Learning) 是人脸识别中常用的传统机器学习方法,由Eric Xing在NIPS 2002提出,可以分为两种:
- 通过线性变换的度量学习
- 通过非线性变化的度量
其基本原理是根据不同的任务来自主学习出针对某个特定任务的度量距离函数。后来度量学习又被迁移至文本分类领域,尤其是针对高维数据的文本处理,度量学习有很好的分类效果。
二、为什么用度量学习
K-means、K近邻方法、SVM等算法,比较依赖于输入时给定的度量,比如:数据之间的相似性,那么将面临的一个基本的问题是如何获取数据之间的相似度。
为了处理各种各样的特征相似度,我们可以在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入,也可能对数据的改变非常不鲁棒。
度量学习作为一个理想的替代,可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。
三、度量学习内容
根据不同的任务来自主学习出针对某个特定任务的度量距离函数。
通过计算两张图片之间的相似度,使得输入图片被归入到相似度大的图片类别中去。
四、与经典识别网络相比
经典识别网络有一个bug:必须提前设定好类别数。 这也就意味着,每增加一个新种类,就要重新定义网络模型,并从头训练一遍。
比如我们要做一个门禁系统,每增加或减少一个员工(等于是一个新类别),就要修改识别网络并重新训练。很明显,这种做法在某些实际运用中很不科学。
因此,Metric Learning作为经典识别网络的替代方案,可以很好地适应某些特定的图像识别场景。
一种较好的做法,是丢弃经典神经网络最后的softmax层,改成直接输出一根feature vector,去特征库里面按照Metric Learning寻找最近邻的类别作为匹配项。
目前,Metric Learning已被广泛运用于人脸识别的日常运用中。
参考资料:
度量学习(Metric Learning)
相关文章
- 度量学习Metric Learning
- 自动化测试工程师的学习方法和逻辑
- Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.1
- 【学习笔记65】JavaScript的继承
- Dubbo -- 系统学习 笔记 -- 入门
- 反向学习相对基学习opposition-based learning简介
- 机器学习笔记之高斯过程(二)高斯过程回归——权重空间角度
- 机器学习笔记之条件随机场(六)学习任务介绍(Learning)
- Machine Learning学习笔记(1)Introduction
- Andrew Ng机器学习公开课笔记 -- Online Learning
- linux文件系统工作流程解析——busybox学习笔记
- 强化学习代码实战-04时序差分算法(Q-learning)
- Caffe学习系列(6):Blob,Layer and Net以及对应配置文件的编写
- 《贝叶斯思维:统计建模的Python学习法》一2.3 贝叶斯框架
- SwiftUI 学习常用数据
- 强化学习实战(四):Sarsa and Q-learning
- devops学习
- 小样本学习(Few shot learning)标准数据集(miniImageNet、tieredImageNet、Fewshot-CIFAR100)下载地址
- (待续)【转载】 Deep Reinforcement Learning Doesn't Work Yet(这里有一篇深度强化学习劝退文)
- 【转载】 强化学习(九)Deep Q-Learning进阶之Nature DQN
- 强化学习 reinforcement learning: An Introduction 第一章, tic-and-toc 代码示例 (结构重建版,注释版)
- 機器學習基石 机器学习基石(Machine Learning Foundations) 作业2 第10题 解答
- 【长尾学习】BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition论文阅读
- 【Computer Vision学习】一、在Ubuntu16.04上的OpenCV环境搭建(基于python3)
- Stanford机器学习---第五讲. 神经网络的学习 Neural Networks learning
- Maching Learning 学习资料