AIGC 席卷 AI 顶会:ICLR 2023 论文得分出炉,扩散模型研究暴增
大数据文摘授权转载自AI科技评论
作者 | 李梅
编辑 | 陈彩娴
11 月 5 日,人工智能顶级会议 ICLR 2023 的评审结果正式发布。
除了讨论提交论文的分数、录用可能性、如何 rebuttal 之外,Diffusion Model(扩散模型)成了今年 ICLR 的热门关键词之一,以扩散模型为研究主题的投稿论文数量出现暴涨,所涵盖的具体方向也十分广泛。
ICLR 2023 的论文提交截止日期是今年的 9 月 28 日,距离文本生成图像模型 DALL·E 2 的问世不过 5 个月,Stable Diffusion 的发布也只是在 8 月份。扩散模型这一波研究热潮,实在是“扩散”得飞快,AIGC 的兴起正当时。
ICLR 2023 审稿概况
ICLR 全称是 International Conference on Learning Representations(国际学习表征会议),由深度学习三巨头其中的两位 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年,在人工智能领域地位举足轻重。ICLR 2023 将于 2023 年 5 月 1 日至 5 月 5 日在卢旺达基加利举行。
本届会议共计有 6300 份初始摘要投稿和 4922 份经过评审的投稿,其中经过评审的投稿比去年增加了 32.2%。在 4922 份投稿中,有 99%(4883)得到了至少 3 份评审,一共有超过 18500 份评审。
图注:历年ICLR接收投稿数量
ICLR 的审稿分数和意见全部在 OpenReview 平台上公开,一些网友已经爬取了平台上本轮审稿的论文得分数据,做了相关排名统计。
论文评分方面,今年的论文平均得分为 4.95。最终的论文录用结果尚未公布,参照上一年 32.3% 的录用率,今年共有 1556 篇左右的论文有希望被录用,最低均分线在 5.50 分。
图注:ICLR 2023 论文评分分布
扩散模型成大热门
毫无疑问,扩散模型在今年是一个大热门,从 ICLR 2023 的论文投稿情况就能看出,这波研究热潮已经掀起。
从提交论文的主题来看,最热门的方向与往年相差不大,强化学习、深度学习、表征学习、图神经网络等仍旧是热点。而其中尤其引人注目的,是排在第 14 名的 Diffusion model。
图注:2022 年和 2023 年 ICLR 论文投稿关键词频率比较
从下图显示的频率排名变化幅度最大的前 10 个论文关键词可以看到,去年的 Diffusion model 还排在第 173 名。
论文题目中的关键词频率也印证了扩散模型的研究热度有多高:
上图是论文标题关键词频率排名变化幅度最大的前 10 个关键词,diffusion 位列第 2,从去年的第 132 名大幅暴增到第 25 名。
甚至有网友开玩笑,不如就把 ICLR 2023 的名字改为“Diffusion Conference 2023”吧......
据粗略统计,ICLR 2023 的论文投稿中,有 100 多篇论文以扩散模型为研究主题,在 233 篇得分为 7分(含)及以上的论文中,共有 13 篇涉及扩散模型。
这些工作所涵盖的具体方向也十分广,如高效采样、与其他生成模型结合、在CV/NLP领域的应用、在多模态领域的应用、与强化学习结合、分子图建模、扩散模型理论与理解、扩散模型泛化与拓展、扩散模型迁移、特殊结构数据的建模、鲁棒性与稳定性、扩散模型的隐私保护,以及其他方向。
研究提出的生成模型涉及多个模态,模型本身的名字也是五花八门,过去几个月令人惊艳的许多生成模型都在其中,如:
来自谷歌的文本生成 3D 模型 DreamFusion(被称为“3D 版 DALL·E”),论文还得到了 8.0 的高分,总排名第 13。
另外还有谷歌发布的检索增强的文本生成图像模型 Re-Imagen、文本生成视频模型 Phenaki,Meta 的文本生成视频模型 Make-A-Video等等。
扩散模型所引发的这一波 AIGC 热潮是席卷式的。扩散模型第一次被提出是在 2015 年(DPM),直到2020年,UC 伯克利的Pieter Abbeel 等人提出去噪扩散概率模型(Denoising Diffusion Probabilistic Model, DDPM),在图像生成方面击败了 GAN,向世界展示了扩散模型的威力。
论文地址:https://arxiv.org/pdf/2006.11239.pdf
而扩散模型真正开始成为研究热门,今年 4 月 OpenAI 发布的文本生成图像模型 DALL·E 2 居功至伟,之后又有谷歌推出 Imagen,直接对标 DALL·E 2,文本生成图像领域从此开始卷了起来。
今年 8 月,初创公司 Stability.AI 发布深度学习文生图模型 Stable Diffusion,开源后更是一石激起千层浪,后续基于扩散模型的文本生成图像模型可以说是越来越卷,并很快扩展到文本生成视频、文本生成 3D、文本生成音频等等。
如今,扩散模型已经当之无愧成为深度生成模型中新的 SOTA,其所引发的 AIGC 热潮已经势不可挡。
所以,想要进入 AIGC 这一赛道的可以早点行动了。
参考链接:
https://twitter.com/shiqiang_w/status/1588714893309804545
https://openreview.net/group?id=ICLR.cc/2023/Conference
https://guoqiangwei.xyz/iclr2023_stats/iclr2023_submissions.html
点「在看」的人都变好看了哦!
相关文章
- 阿里达摩院获KDD 2022最佳论文,国内企业首次获奖
- 『热门研究与论文发表系列研讨会』<第五期>回顾:Wiley + 单细胞研究
- 8月AI论文GitHub十强榜出炉!语言-图像模型连斩Top2
- LaTeX 参考文献_论文参考文献外文文献格式
- 如何撰写好的科研论文:摘要(1)
- AI直装版AI下载Ai 办公软件各版本分析--经验分享
- 张益唐111页零点猜想论文出炉!自称比孪生素数猜想意义更大,每天思考12小时被太太骂
- 论文导读 | 使用 Kani 验证 Rust 中的 trait 对象
- 17岁高中生证明数学界存在27年难题,「他的论文值得任何数学家为之自豪」
- 原创 | AI顶会论文很多附带源代码?不少是假开源!
- 新思科技DSO.ai助力客户完成100次流片,引领AI在芯片设计中的规模化应用
- 2022年最有开创性的10篇AI论文总结
- 清华大一Python作业太难上热榜!只上3节课,手撸AI算法,网友:离本科毕设只差一篇万字论文
- 7 Papers | CoRL 2022最佳论文;语言模型生成自然界没有的蛋白质
- 舍弃谱归一化,这篇ICCV'21论文用梯度归一化训练GAN,效果极好
- 20分钟,AI写出的论文轻松得A!学校检测算法也拿它没辙,学生:GPT-4啥时候出?
- 新思科技发布业界首款全栈式AI驱动型EDA解决方案Synopsys.ai
- ai软件安装包下载,Adobe AI中文版 win/mac电脑版下载安装教程
- ai软件下载Illustrator 2021 for mac (Ai 2021中文版)直装版
- 深入探索Linux命令的奥秘(linux命令论文)
- Oracle凭证:安全保障技术研究论文(oracle凭证)
- 详解谷歌AI五大安全机制论文,AI的开发到底有多少坑?
- 论文精选 | AI学习也要先定个小目标,让人工智能具有社会意识——《具有社会意识的多智能体学习:面向社会最优解》
- 斯坦福Nature论文宣布新突破:AI诊断皮肤癌达专家水平