引用次数最多的深度学习论文出自谁手?(无监督学习/生成模型篇)
雷锋网AI科技评论:我们通常都会学习前辈或大牛的经典作品,而引用次数自然也成为了论文的一个重要标杆。在GitHub上,@Terryum整理了一份精心编写的论文推荐列表,其中包含了在深度学习领域中引用次数最多的前100篇论文(自2012年起)。
有一些深度学习论文,无论它们属于哪个应用领域,都值得仔细研习。文章在精不在多,雷锋网提供的这些文章,都被认为是值得一读的优秀论文。囿于篇幅限制,雷锋网整理编译了无监督学习/生成模型的七篇论文,并增加了论文的概要,方便读者快速了解。
自然图像分布的建模在无监督学习中是一个里程碑式的难题,因为图像的高维度和高结构性,建模时需要考虑模型的可表达性,可控性和可扩展性,这使得很多模型在建立时以牺牲性能为代价,才能提取出有意义的图像表征。来自Google的Aaron van den Oord,Nal Kalchbrenner和Koray Kavukcuoglu在《Pixel Recurrent Neural Networks》一文中提出了一种能连续预测图像像素的二维RNN模型(PixelRNN)和全卷积网络CNN模型(PixelCNN)。作者对原像素的离散概率建模,并编码了完整的图像依赖关系。模型在MNIST和CIFAR-10上进行了测试,取得的对数似然函数值明显优于当下的技术发展水平。最后作者还给出了PixelRNN生成的一个样本定性评估。
[1] Pixel recurrent neural networks (2016), A. Oord et al. [pdf]
来自OpenAI 的多位技术专家联合发表了一篇名为《Improved Techniques for Training GANs》的论文,他们在论文中给出了训练GAN模型时应用的一些技巧。这些技巧的应用使得他们在MNIST,CIFAR-10和SVHN数据集的半监督分类问题中取得了目前技术发展的最高水平。视觉图灵测试证实了模型生成图像的高质量,连肉眼也无法分辨模型生成的MNIST样本和真实数据的区别,而模型生成的CIFAR-10样本,人类判断的错误率为21.3%。模型生成的ImageNet样本更是达到了空前未有的分辨率。作者在文章提出,这些技巧使得模型能够学习ImageNet类的可辨别特征。
[2] Improved techniques for training GANs (2016), T. Salimans et al. [pdf]
近几年在计算机视觉领域,卷积神经网络在有监督学习问题上得到了大量应用,而在无监督学习问题上却鲜少有人关注。Alec Radford,Luke Metz和Soumith Chintala在论文《Unsupervised representation learning with deep convolutional generative adversarial networks》中介绍了一类名为深度卷积生成式对抗网络(DCGAN)的CNN模型,并认为这种模型很适合无监督学习问题。通过在不同的图像数据集上训练,模型在生成器和判别器上,从物体物件到场景图像,都能学习到的一种层次的表征。最后,将学习到的特征应用到新任务中,证明了它们作为通用图像表征的适用性。
[3] Unsupervised representation learning with deep convolutional generative adversarial networks (2015), A. Radford et al. [pdf]
《DRAW: A Recurrent Neural Network For Image Generation》一文出自Google的DeepMind实验室,介绍了一种可应用于图像生成的Deep Recurrent Attentive Writer(DRAW)神经网络模型,此模型能够生成高质量的自然图像,并提高了当前在MNIST数据集上生成模型表现的最好水平。此外,使用SVHN数据集训练的DRAW模型生成的图片,裸眼无法分辨其与真实数据的区别。
[4] DRAW: A recurrent neural network for image generation (2015), K. Gregor et al. [pdf]
作为生成对抗网络(GAN)的开山之作,《Generative Adversarial Nets》论文初次提出了这种对抗过程估计生成模型的新框架,文中同时训练了两个模型,一个生成模型G(获取数据分布),一个判别模型D(估计样本来自训练数据集或者生成模型G 的概率)。生成模型G的训练目标是最大化判别模型D犯错的概率。这个模型类似于两个人在玩极小极大算法的游戏。对于任意的函数G和D,存在唯一解,使得G恢复训练数据分布,而D处处为1/2。 当G和D由多层感知器定义时,整个系统都可以用反向传播算法来训练。在训练和样本生成过程中不需要任何的马尔科夫链或者unrolled approximate inference。实验通过对生成样本的定性和定量评估,证明了此框架的潜力。
[5] Generative adversarial nets (2014), I. Goodfellow et al. [pdf]
在面对连续的潜变量,复杂的后验分布和数据集庞大的情况下,贝叶斯概率模型(directed probabilistic models)如何进行有效的推理和学习?Diederik P. Kingma 和Max Welling在《Auto-Encoding Variational Bayes》一文中提出了一种随机变分推理和学习算法,能够适应庞大的数据集和弱可微条件。论文提出了一种新的变分下界估计,可以直接应用SGD来优化和调整。另外,论文引入了自动编码变分贝叶斯(AEVB),这是针对有效推理和学习的一种高效算法。
[6] Auto-encoding variational Bayes (2013), D. Kingma and M. Welling [pdf]
“有没有可能从无标签的图像数据中学习一个面部特征器?”《Building High-level Features Using Large Scale Unsupervised Learning》一文讨论了关于大规模无监督高层特征构建的问题。论文作者基于庞大的图像数据集,训练了一个9层的局部连接稀疏自编码网络模型,模型带有池化层和局部对比归一化层。通过模型并行化和异步SGD在1000个机器(16000个核)上训练了3天,由此证明了从无标签图像数据中训练面部特征器是可行的。对照实验表明,训练出来的特征探测器在平移,缩放和平面外旋转上都体现了鲁棒性。除此之外,相同网络对于其他高层概念的探测表现的很灵敏,比如对猫脸、人类身体结构的探测。通过这些学习到的特征,训练的网络在识别22000类物体的ImageNet数据集上获得了15.8%的准确率,相对之前的最高水平有了70% 的性能提升。
[7] Building high-level features using large scale unsupervised learning (2013), Q. Le et al. [pdf]
本文只介绍了列表中属于无监督学习/生成模型的七篇引用次数最多的论文,对于其他类别的论文,请参考作者其他编译文章或者原文链接:https://github.com/terryum/awesome-deep-learning-papers#unsupervised generative-models,雷锋网(公众号:雷锋网)编译。
雷锋网版权文章,未经授权禁止转载。详情见。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/80424.html
aliyungoogleiPhonePhone游戏相关文章
- 深度学习领域,你心目中 idea 最惊艳的论文是哪篇?
- 先马后看!YOLO论文讲解:V1-V7
- CVPR2022论文速递(2022.6.20)!共4篇!
- CVPR2022论文速递2022.6.30!最新成果demo展示
- matlab绘制论文折线图
- GoogLeNet论文学习笔记
- 学习偏态分布的相关知识和原理的4篇论文推荐
- RepVGG论文详解以及使用Pytorch进行模型复现
- 如何全面掌握图机器学习?西南财大最新《图学习》全面梳理总结448篇论文
- 论文速递 | 模型训练加速、文本生成框架、强化学习、知识图谱(NeurIPS2022)
- 明尼苏达大学博导“约法十章”火了:没事不乱开会、合写论文不要催导师,复旦教授直呼值得学习
- ECCV2022 | 光流的半监督学习,精度更高!代码开源!论文速递2022.10.12!
- 移动端部署推荐系统:快手获数据挖掘顶会CIKM 2022最佳论文
- 原创 | Attention is all you need 论文解析(附代码)
- [Bioinformatics | 论文简读] 利用机器学习和基于颜色的图像集聚类的引导交互式图像分割
- [JCIM | 论文简读] SMICLR:用于半监督和无监督表示学习的多模态分子表征对比学习
- [IEEE TMI | 论文简读] 基于对比半监督学习的相似解剖结构领域自适应分割
- [Nat. Commun. | 论文简读] 一个连接分子结构和生物医学文本的深度学习系统,其理解力可与人类专业人士相媲美
- [Nature Biomedical Engineering | 论文简读] 通过深度学习检测眼部照片中的疾病迹象
- [Nature computational science | 论文简读] 基于深度学习和自一致性的无旋转蛋白质序列设计
- [arxiv | 论文简读] 深度K-Means:简单有效的数据聚类方法
- 北大直博保送生论文涉嫌抄袭?原作者实名举报,北大南开火速调查
- 【深度学习】2022年最值得关注的十篇论文,你都看了吗?来卷来学习
- 使用 LaTeX 进行论文写作
- 北大谢涛获ASE 2021最有影响力论文奖,成为首位华人获奖学者
- 自监督、半监督和有监督全涵盖,四篇论文遍历对比学习的研究进展
- PRICAI 2016 论文精选 | 基于多核学习整合文本信息的微博图片情绪分析
- 朋克学术大牛上演“换头术”,原来深度学习还能这样玩!(附论文下载)|SIGGRAPH ASIA 2016