深度学习作弊,用单个参数 fit 任何数据集,这篇 19 年的论文重新「火」了
机器之心报道
机器之心编辑部
一个参数画出大象。
据说,冯 · 诺依曼有次参加一个会议,某物理研究员在报告一个研究进展,用了一个非常复杂的模型,试图论证实验数据点都落在同一条曲线上,符合模型预期。于是冯 · 诺依曼就说了一句,还不如说这些点都在同一个平面上。最后,冯 · 诺依曼留下了一句名言:「With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.」
这就是冯 · 诺依曼经典的「四个参数画大象,五个参数鼻子晃」的故事。
2010 年,来自德国马克斯普朗克分子细胞生物学和遗传学研究所和欧洲分子生物学实验室的三位研究者发表的论文实现了四个参数画大象,具体如下:
图源:https://publications.mpi-cbg.de/Mayer_2010_4314.pdf
相同的思想,近日,一篇发表于 2019 年 4 月的老论文《 Real numbers, data science and chaos: How to fit any dataset with a single parameter 》,在推特上又引来一波讨论量。论文作者 Laurent Boué 现为微软高级机器学习科学家,他讲述了「如何使用单个参数拟合任何数据集」。
论文地址:https://arxiv.org/pdf/1904.12320.pdf
发帖者为普林斯顿博士生、DeepMind 研究科学家实习生 Miles Granmer,他表示,「该论文提供了一个具有单个参数的标量函数,并且这个函数是可微和连续的!」
对于这项研究,有人认为:「从技术上讲,这篇文章存在一些『作弊』,因为该论文使用了任意精度的浮点数。由于浮点数所需的位数非常少,因此本文可能是压缩表示的一个很好的候选者。 但它绝对不是『单一』参数。我同意这篇论文是一种将数据集编码为数字,然后将其解码回重建单个点的聪明方法。」
还有人对这项研究的拟合参数标准误差产生了兴趣,如果它是单个参数,误差将有多大?
还有人表示:「1 个参数的连续可微函数可以生成无限 VC 维族。这篇论文似乎是该技巧的某个版本。」
论文内容介绍
该论文介绍了如何通过具有单个实值参数的标量函数(连续、可微...)来近似化任何不同模态(时间序列、图像、声音...)的数据集。基于混沌理论的基本概念,研究者采用教学(pedagogical)方法来演示如何调整这个实值参数,以实现对所有数据样本的任意精度拟合。
现实世界的数据有各种各样的形状和大小,其模式包括从传统的结构化数据库模式到非结构化媒体源,如视频源和录音。然而,任何数据集最终都可以被认为是一个数值列表 X = [x_0, · · · , x_n] ,该列表描述了数据内容而忽略了数据底层模态。并且该论文旨在证明任何数据集 X 的所有样本都可以通过一个简单的微分方程重现:
其中 α ϵ R 是要从数据中学习的实值参数,x ϵ [0, · · · , n] 取整数值。(τ ϵ N 是一个常数,可有效控制所需的准确率)。按照「拟合大象」的传统,该研究首先展示了如何通过选择合适的α值生成不同的动物形状,如图 1 所示。
在演示完 f_α 可以生成任何类型的上述涂鸦绘图之后,该论文继续使用文字「Hello world」进行了展示,以进一步说明该方法的功能。下图 2 展示了如何使用精心选择的 α 值来生成复杂的高维声学信号,编码实际表达的是「Hello world」。
在图像这种数据模态上,随着专用硬件和新型神经网络架构的不断涌现,人们普遍认为可用的大规模标记训练数据已成为促使计算机视觉「成熟」的最重要因素之一。
在这种情况下,CIFAR-10 数据集被认为是衡量新学习算法性能的有力标准。该研究表明:如下图 3 所示,总是能够找到一个α值,使得 f_α能够构建出反映 CIFAR-10 类别的人工图像。
基于上述几个模态的例子,该论文得出结论:一个具有简单且可微公式的模型 f_α能够产生任何类型的语义相关散点图、音频或视觉数据(文本也类似),而只需要单个实值参数。这一点就引起了研究者们的质疑。
此外,该论文中阐述了该方法无法实现泛化的事实。这是因为该方法中所有信息都是被直接编码的,没有任何的压缩或「学习」。从数学的角度看,实数有无限多个,因此不应与编程语言实现的有限精度的数据类型混淆。基于此,f_α不可能实现真正的泛化,下图 9 就是一个例子。
对此,你有什么看法呢?
机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。
- 点击阅读原文,访问机动组官网,观看全部视频内容:
- 关注机动组服务号,获取每周直播预告。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
相关文章
- ECCV论文解读 | ECO视频动作识别
- 有了这个机器学习画图神器,论文、博客都可以事半功倍了!
- 推荐一个论文写作神器
- 「室温超导」只是闹剧?Nature封面论文撤稿,作者否认造假,还开了家新公司
- 论文推荐:使用带掩码的孪生网络进行自监督学习
- 8篇 ICLR 2023 高分GNN论文
- 独作论文登数学顶刊,浙大女神校友再被提起:32岁在贵州深山投稿,一家出两位院士
- CVPR2022论文速递2022.7.4!最新成果demo展示
- 论文/代码速递2022.10.24!
- PGL图学习之基于UniMP算法的论文引用网络节点分类任务[系列九]
- [IJCAI 2022 | 论文简读] 基于知识蒸馏的持续联邦学习
- [IEEE TMI | 论文简读] 基于对比半监督学习的相似解剖结构领域自适应分割
- [JCMI | 论文简读] 利用多任务图神经网络预测体内化合物的血脑屏障穿透性
- [Nat.Mach.Intell. | 论文简读] 基于深度学习的全天候自动驾驶鲁棒定位
- [Bioinformatics | 论文简读] 用于抗癌药物协同预测的多向关系增强超图表示学习
- [Nature Communications | 论文简读] 通过多视图图协同学习从空间分辨的转录组学数据中阐明肿瘤异质性
- [ICML 2022 | 论文简读] 面向图表示学习的结构感知的Transformer
- [Nat. Biomed. Eng. | 论文简读] 基于自监督深度学习的全切片病理图像快速可扩展搜索
- [NC | 论文简读] devCellPy是一个机器学习支持的管道,用于自动注释复杂的多层单细胞转录组数据
- [Genome Biology | 论文简读] 以知识为基础的神经网络能够对单细胞测序数据进行生物学上可解释的深度学习
- ACL2016最佳论文:用于口语对话系统策略优化的在线自动奖励学习
- 更快,更精确的人脸识别方法(ECAI 2016论文精选)| AI科技评论
- 用两万篇论文告诉你:机器学习在过去五年中发生了什么
- ICLR-17最佳论文作者Nicolas Papernot现场演讲:如何用PATE框架有效保护隐私训练数据?(附视频)