2 监督学习
【机器学习】李宏毅——自监督式学习
1、BERT简介首先需要介绍什么是自监督学习。我们知道监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练结果将标签进行比较来修正模型，如下图： 而自监督学习就是没有标签也要自己创建监督学习的条件，即当前只有样本x但是没有标签\hat{y}y^，那具体的做法就是将样本x分成两部分x\primex′和x\prime \primex′′，其中一部分作为输入模型的样本，另一部分来作为标签
日期 2023-06-12 10:48:40
无监督学习的12个最重要的算法介绍及其用例总结（附链接）
来源：DeepHub IMBA本文约1500字，建议阅读5分钟本文为你介绍无监督学习的12个最重要的算法介绍及用例。复制无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，无监督学习是没有任何的数据标注只有数据本身。无监督学习算法有几种类型，以下是其中最重要的12种:1、聚类算法根据相似性将数据点分组成簇k-means聚类是一种流行的聚类算法，它将数
日期 2023-06-12 10:48:40人脑90%都是自监督学习，AI大模型离模拟大脑还有多远？
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 新智元 授权复制【导读】人的大脑和自监督学习模型的相似度有多高？我们都知道，人类的大脑90%都是自监督学习的，生物会不断对下一步发生的事情做出预测。自监督学习，就是不需要外部干预也能做出决策。只有少数情况我们会接受外部反馈，比如老师说：「你搞错了」。而现在有学者发现，大型语言模型的自监督学习机制，像极了我们的大脑。知名科普媒体Quanta M
日期 2023-06-12 10:48:40
随机森林算法（有监督学习）
大家好，又见面了，我是你们的朋友全栈君。 一、随机森林算法的基本思想 随机森林的出现主要是为了解单一决策树可能出现的很大误差和overfitting的问题。这个算法的核心思想就是将多个不同的决策树进行组合，利用这种组合降低单一决策树有可能带来的片面性和判断不准确性。用我们常说的话来形容这个思想就是“三个臭皮匠赛过诸葛亮”。 具体来讲，随机森林是用随机的方式建立一个森林，这个随机
日期 2023-06-12 10:48:40【机器学习笔记】有监督学习和无监督学习
大家好，又见面了，我是你们的朋友全栈君。 有监督学习和无监督学习（一）什么是机器学习？（二）有监督学习（三）无监督学习（四）二者的区别（五）如何在两者中选择合适的方法（一）什么是机器学习？概念： 从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说， 机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的应用
日期 2023-06-12 10:48:40
深度学习#1.有监督学习和无监督学习
大家好，又见面了，我是你们的朋友全栈君。 机器学习#1.有监督学习和无监督学习人工智能与机器学习与深度学习机器学习 有监督学习无监督学习人工智能与机器学习与深度学习什么是人工智能？ 人类用各种方式让机器拥有与人类相仿的“智能”，就是人工智能。 什么是机器学习？ 机器学习就是实现人工智能的一种方式。什么是深度学习？ 深度学习就是实现机器学习的一种技术。机器学习为什么要机器学习呢？你想啊，
日期 2023-06-12 10:48:40视频修复：无监督流对齐的序列对序列学习方法S2SVR（ICML 2022）
关注公众号，发现CV技术之美本文将 Seq2Seq 的架构引入到了视频超分中，其次针对光流不准的问题，之前的文章选择使用DCN进行替代，本篇论文『Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration 』从另一个角度出发，通过知识蒸馏的方法来训练更准的光流，想法很好但是相比于DCN的效果还有待进一步
日期 2023-06-12 10:48:40
有监督学习、无监督学习以及半监督学习详解
大家好，又见面了，我是你们的朋友全栈君。 相信大家在开始学习机器学习的入门时，首先接触的概念就是监督学习、无监督学习以及半监督学习。在我们开始讲解之前，我们先回顾一下什么是机器学习（ML）？百度百科给出的定义是，机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提
日期 2023-06-12 10:48:40WAIC 2022 | 联通（上海）产业互联网有限公司胡超：从监督学习走向自我学习
机器之心报道演讲：胡超近日，在 WAIC 2022 AI 开发者论坛上，联通（上海）产业互联网有限公司 AI 技术总监胡超发表了主题演讲《从监督学习走向自我学习：无监督目标级表征学习》。在演讲中，胡超主要介绍了他们在深度学习领域的应用和发展，以及无监督技术的应用案例。演讲分别从无监督学习、VAE & MIM（Masked Image Modeling） & GAN、图像修复与对比学
日期 2023-06-12 10:48:40ICDE'22「华为」MISS：多兴趣自监督学习框架用于点击率预估
关注我们，一起学习~title：MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction link：https://arxiv.53yu.com/pdf/2111.15068.pdf from：ICDE 20221. 导读本文针对CTR预估提出的自监督方法MISS，针对现存问题
日期 2023-06-12 10:48:40SIGIR'21 微软|基于自监督图学习的召回方法
image.pngSelf-supervised Graph Learning for Recommendation https://dl.acm.org/doi/pdf/10.1145/3404835.34628621. 背景本文为召回阶段所提出的相关方法。首先，基于图的推荐系统方法存在以下三个限制：稀疏的监督信号：通常我们都是根据用户和item之间的交互来作为监督信号，但是这种交互相对于整个交
日期 2023-06-12 10:48:40论文推荐：使用带掩码的孪生网络进行自监督学习
来源：Deephub Imba本文约1100字，建议阅读9分钟本文介绍了使用带掩码的网络如何进行自监督学习。最近自我监督学习被重视起来。昨天我通过LinkedIn发现了这项工作，我觉得它很有趣。kaiming大神的MAE为ViT和自监督的预训练创造了一个新的方向，本篇文章将介绍Masked Siamese Networks (MSN)，这是另一种用于学习图像表示的自监督学习框架。MSN 将包含随机
日期 2023-06-12 10:48:40自监督学习 对比学习了解
大家好，又见面了，我是你们的朋友全栈君。 简介自监督学习是近几年（2020年）流行起来的一种机器学习方法，很多人认为自监督方法未来一段时间将取代现有的监督方法，成为深度学习中占据主导地位的方法。现在已经有不少采用自监督-对比学习的方法取得了领先的效果。目前（2020.10）来说这个领域貌似还比较新，没有找到很系统的讲解介绍资料。首先介绍一下到底什么是 SSL，我们知道一般机器学习分为监督学习
日期 2023-06-12 10:48:40自监督学习（二）自监督学习性能概述
大家好，又见面了，我是你们的朋友全栈君。 Scaling and Benchmarking Self-Supervised Visual Representation LearningIntroductionScaling Self-supervised Learning增加预训练数据集的规模增加模型的容量增加任务的复杂度Benchmarking Suite for Self-supervi
日期 2023-06-12 10:48:40
自监督学习（一）自监督学习介绍
大家好，又见面了，我是你们的朋友全栈君。 自监督学习介绍OverviewWhat is Self-Supervised Learning?Why is Self-Supervised Learning?Some ExamplesUnsupervised Visual Representation Learning by Context PredictionUnsupervised Repre
日期 2023-06-12 10:48:40自监督学习: 人工智能的未来
大家好，又见面了，我是你们的朋友全栈君。 目录1. 什么是自监督学习？2. 为什么自监督学习是AI的未来？3.1 Computer Vision:[1] 2015 (ICCV) Unsupervised Learning of Visual Representations Using Videos[2] 2015 (ICCV) Unsupervised Visual Representation
日期 2023-06-12 10:48:40自监督学习（self-supervised learning）（20201124）
大家好，又见面了，我是你们的朋友全栈君。看论文总是会看出来一堆堆奇奇怪怪的名词。从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。首先先对上面的概念进行简述：半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习；远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注；无监督：不依赖任何
日期 2023-06-12 10:48:40自监督学习（Self-supervised Learning）
大家好，又见面了，我是你们的朋友全栈君。 前段时间在杭州参加华尔兹，在会场听报告和看Poster的时候，我发现AI领域的论文研究不再跟前几年一样专注于某个特定的任务提出全监督的网络模型（比如语义分割、目标检测和风格迁移等）。因为这些年深度学习的发展使得在数据充足情况下，经典任务的模型已经能达到很好的效果了，但是对于数据和标签匮乏的特定任务，这种监督学习的模型的效果就很受限。目前CV领域主流的
日期 2023-06-12 10:48:40重新审视半监督学习的伪标签
↑↑↑关注后"星标"炼丹笔记 炼丹笔记·干货 作者：Sik-Ho Tsang Curriculum Labeling (CL)，在每个自训练周期之前重新启动模型参数，优于伪标签 (PL)。 Pseudo-Labeling (PL) 通过将伪标签应用于未标记集中的样本以在自训练周期中进行模型训练。Curriculum Labeling (CL)中，应用类似课程学习
日期 2023-06-12 10:48:40半监督学习入门基础（一）
导读最基础的半监督学习的概念，给大家一个感性的认识。半监督学习(SSL)是一种机器学习技术，其中任务是从一个小的带标签的数据集和相对较大的未带标签的数据中学习得到的。SSL的目标是要比单独使用有标记数据训练的监督学习技术得到更好的结果。这是半监督学习系列文章的第1部分，对这个机器学习的重要子领域进行了简要的介绍。区分半监督学习，监督学习和无监督学习 整个数据集中可用于训练的有标记数据的范围区分了机
日期 2023-06-12 10:48:40王者荣耀：在绝悟上进行监督学习
作者：leo从事：腾讯后台策略工程师《Supervised learning achieves human-level performance in MOBA games: A case study of honor of kings》这是一篇腾讯AI lab发表的文章，其主要利用MOBA游戏王者荣耀的数据进行强化学习，训练出一个能够打败人类顶尖选手的AI。同时在文章中，提出了在游戏中的两个概念：
日期 2023-06-12 10:48:40自监督学习和无监督学习的区别
大家好，又见面了，我是你们的朋友全栈君。 无监督学习无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务自监督学习和无监督学习不同，自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。换句话说：自监督学习的监督信息不是人工标注的，而是是通过辅助
日期 2023-06-12 10:48:40论文推荐：使用带掩码的孪生网络进行自监督学习
点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 最近自我监督学习被重视起来。昨天我通过LinkedIn发现了这项工作，我觉得它很有趣。kaiming大神的MAE为ViT和自监督的预训练创造了一个新的方向，本篇文章将介绍Masked Siamese Networks (MSN)，这是另一种用于学习图像表示的自监督学习框架。MSN 将包含随机掩码的图像视图的表示与原始未遮蔽的图像的
日期 2023-06-12 10:48:40GraphMAE：将MAE的方法应用到图中使图的生成式自监督学习超越了对比学习
点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 前几天的文章中我们提到MAE在时间序列的应用，本篇文章介绍的论文已经将MAE的方法应用到图中，这是来自[KDD2022]的论文GraphMAE: Self-supervised Masked Graph Autoencoders生成学习与对比学习自监督学习从大量的无监督数据中挖掘出自己需要的的监督信息。与监督学习相比，它使用来自数
日期 2023-06-12 10:48:40无监督学习的12个最重要的算法介绍及其用例总结
点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，无监督学习是没有任何的数据标注只有数据本身。无监督学习算法有几种类型，以下是其中最重要的12种:1、聚类算法根据相似性将数据点分组成簇k-means聚类是一种流行的聚类算法，它将数据划分为k组。2、降维算法降低了数据的维数，使其更容
日期 2023-06-12 10:48:40Multimix：从医学图像中进行的少量监督，可解释的多任务学习
点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 在本文中，我将讨论一种新的半监督，多任务医学成像方法，称为Multimix，Ayana Haque（ME），Abdullah-Al-Zubaer Imran，Adam Wang、Demetri Terzopoulos。该论文在被ISBI 2021收录，并于4月的会议上发表。MultiMix通过采用基于置信的增强策略和新型桥模块来执
日期 2023-06-12 10:48:40ConvNeXt V2 发布：自监督学习加持，卷积网络仍大有可为
近年来，从自然语言处理领域出来的transformer架构，在计算机视觉领域获得了长足的发展，一时间transformer-based方法席卷CV界。作为捍卫卷积网络尊严大本营的Meta AI FAIR ，之前已经发布了ConvNeXt 模型，在视觉的各任务中表现出了强大的性能，最近他们又开源了ConvNeXt V2，借助大火的自监督学习模型MAE的方法，实现了不逊于最优秀的ViT模型的性能，而且
日期 2023-06-12 10:48:40ECCV2022 | 光流的半监督学习，精度更高！代码开源！论文速递2022.10.12！
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-DemoECCV2022论文和代码整理：https://github.com/DWCTOD/ECCV2022-Papers-with-Code-Demo最新成果demo展示：主页：https://sgvr.kaist.ac.kr/publi
日期 2023-06-12 10:48:40多个任务超越moco v3！OPERA：监督学习和自监督统一的框架！
大家好，今天和大家分享一篇基于何恺明团队提出moco优化的算法。提出了一个监督学习和自监督统一的框架，表征能力更强，在多个下游任务上性能超越了 moco v3。论文：https://arxiv.org/pdf/2210.05557.pdf代码：https://github.com/wangck20/OPERA创新点：基于深度学习中度量学习的监督（fully supervised，FSL）和自监督（
日期 2023-06-12 10:48:40Meta AI 更新的 Data2vec 2.0 | 实现更快、更高效的视觉、语音和文本的自监督学习
文章目录一、前言二、data2vec 2.0 是如何工作的三、使用 data2vec 2.0 提高效率四、总结CSDN 叶庭云：https://yetingyun.blog.csdn.net/一、前言论文地址：Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language 人工智能
日期 2023-06-12 10:48:40[Nat. Biomed. Eng. | 论文简读] 基于自监督深度学习的全切片病理图像快速可扩展搜索
简读分享 | 陈兴民 编辑 | 陈兴民论文题目Fast and scalable search of whole-slide images via self-supervised deep learning 论文摘要数字病理学的采用使得管理数十亿像素全切片病理图像(WSIs)的大型存储库成为可能。在不需要监督训练的情况下，在大型存储库中计算识别具有相似形态特征的WSIs具有重要的应用价值。然而，搜
日期 2023-06-12 10:48:40