听不懂梗怎么办?谷歌5400亿参数新模型可以给你解释笑点,还能通过emoji表情猜电影
来看一个笑话。
我本该在下午5点开始写论文。 但后来我就开始玩这个很酷的新语言模型,玩了10分钟,10分钟后,突然就晚上9点半了!
这个笑话可能比较简单,大家一听就懂,不就是说“快乐的时光总是觉得很短暂”嘛。
不过,你能想象这里面说的“很酷的新语言模型”,居然也能听懂这个笑话?
不仅能听懂,它甚至还能一本正经地解释这个笑话:
这个笑话是关于当你开心的时候,时间过得多么快。 这个人本来应该在下午5点开始写一篇论文,但他们却开始玩语言模型。 他以为自己只玩了1分钟,但实际上是4.5小时。
这个能力的背后就是谷歌的新模型——Pathways Language Model (PaLM),一个可以解释笑话的模型,有了它,世界上就再也没有难懂的梗了。
论文地址:https://arxiv.org/pdf/2204.02311v2.pdf
1 PaLM,5400亿参数,让世上没有难懂的梗
当然了,PaLM的设计之初,肯定不会只是想解释解释笑话。
去年,Google Research宣布了对PaLM的设想,PaLM会是一个单一的模型,可以在高效率的情况下推广到各个领域和任务。
在“PaLM: Scaling Language Modeling with Pathways”论文中,Google Research详细介绍了 Pathways Language Model (PaLM) ,这是一个5400亿参数的Transformer模型。
PaLM可以实现在多个TPU v4 Pods中高效地训练单个模型。Google Research在数百个语言理解和生成任务上对PaLM进行了评估,发现它在大多数任务上都达到了最先进的few-shot性能,在许多情况下都有很大的优势。
这其中就包括解释笑话的笑点在哪里。
事实上,解释笑话并非易事,这需要对多步逻辑推理、综合知识和深层语言理解的复杂组合的场景生成明确的解释。
但是凭借着强大的语言处理能力,PaLM还是很好地胜任了这项任务。
甚至是冷笑话(),PaLM也能很好地识别出来。比如别人问你,“斑马和雨伞有什么区别?”你可能会期待什么有意思的回答,但是答案是“一个是和马有关的有条纹的动物,另一个是你用来阻止雨水落到你身上的装置。”
这种无厘头的冷笑话,PaLM给出的解释是:
这个笑话是一个冷笑话(anti-joke)。笑话是答案是显而易见的,笑点在于你期待一个有趣的答案。
2 PaLM甚至能从emoji中猜出电影名字
除了解释笑话,PaLM在许多非常困难的任务上显示出突破能力。
Google Research对29项广泛使用的英语自然语言处理(NLP)任务进行了评估。在29个任务中的28个任务中,PaLM 540B超过了之前的大型模型,如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA,这些任务包括问答任务、完形填空和句子完成任务、 Winograd-style任务、上下文阅读理解任务、常识推理任务、 SuperGLUE任务和自然语言推理任务。
除了英语自然语言处理任务外,PaLM 在多语言自然语言处理基准(包括翻译)方面也表现出色,尽管只有22%的学习语料是非英语的。
另外,研究人员还在最近发布的包含150多个新语言建模任务的Beyond the Imitation Game Benchmark(BIG-bench)上探讨了PaLM的能力,并发现PaLM实现了突破性的性能。
PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解能力和生成能力。例如,该模型可以区分因果关系,在适当的背景下理解概念组合,甚至可以从emoji中猜出电影名字。
对于发展PaLM的未来愿景,Google AI Blog在报道中写道,希望实现“一个单一的人工智能系统能够概括成千上万的任务,理解不同类型的数据,并以非凡的效率完成这些工作”。
相关文章
- 一篇运维老司机的大数据平台监控宝典(2)-联通大数据集群平台监控体系详解
- 一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
- 空中换引擎 博时基金数字化转型经验谈
- 如何高效地学习编程语言
- 作为一名阿里巴巴数据分析大牛,送给学弟学妹的经验积分
- 为什么要学习R语言
- Hadoop大数据分析平台的介绍性讨论
- 最全面的Spring学习笔记
- 16个用于数据科学和机器学习的顶级平台
- 给有抱负的数据科学家的六条建议
- 如何做一枚合格的数据产品经理
- 除Kaggle外,还有哪些顶级数据科学竞赛平台
- 一个鲜为人知却可以保护隐私的训练方法:联合学习
- 干货 :送你12个关于数据科学学习的关键提示(附链接)
- 大数据行业有多少种工作岗位,各自的技能需求是什么?
- 中国移动研究院常耀斌:商用大数据平台的研发之路
- 这些数据科学家必备的技能,你拥有哪些?
- 自学成才的开发者有何优势和劣势?
- Gartner报告:正处于数据科学与机器学习工具 “大爆炸”的时代
- Ready Computing借助InterSystems IRIS医疗版为医疗机构提供具有高度互操作性和可扩展性的解决方案