chain of thought prompting elicits reasoning in large language models
2023-04-18 16:46:46 时间
manual-cot属于few shot,Q和A属于人工设计的问题,autocot使用let's think step by step,前面的Q和A是采样的。not just step by step,lets one by one,不仅仅使用一个step by step,多次使用。
1.abstract
chain of thought(cot):人类在遇到问题时所产生的的推理步骤,表现形式是一些列的短句子。用了cot之后,palm540b在GSM8k上取得了58.1%。
2.introduction
system 1:能够很快被理解的。system 2:很慢需要理解的,需要一步一步思考的,比如解数学题。
在prompt中不仅给出答案,再让大模型续写,而且给出推理过程,大模型续写正确率会提高。
cot需要更多计算量,因为更多的推理过程;cot有更好的可解释性。
人工构造cot的成本很高的,需要自己写推理过程。
在简单数据集上,模型越大,能力也是越高的,但是在难的数据集上,如果只使用标准的prompt,是不如cot prompt的,即便增大模型参数量效果也是不佳的,并非正相关的。
第一种,只有公式,第二种把cot替换成与中间式子等长的...,第三种把推理过程写在答案后面,效果都不太好,体现出cot中自然语言的作用。
在cot之前的prompt只是大模型语言能力的下线。
相关文章
- EasyCVR对接华为iVS订阅摄像机和用户变更请求接口介绍
- 精选 | 腾讯云CDN内容加速场景有哪些?
- 模块化网络防止基于模型的多任务强化学习中的灾难性干扰
- 用搜索和注意力学习稳健的调度方法
- 用于多变量时间序列异常检测的学习图神经网络
- 助力政企自动化自然生长,华为WeAutomate RPA是怎么做到的?
- 使用腾讯轻量云搭建Fiora聊天室
- TSRC安全测试规范
- 云计算“功守道”
- 助力成本优化,腾讯全场景在离线混部系统Caelus正式开源
- Flink 利器:开源平台 StreamX 简介
- 腾讯云实践 | 一图揭秘腾讯碳中和?解决方案
- 深度学习中的轻量级网络架构总结与代码实现
- 信息系统项目管理师(高项复习笔记三)
- Adobe国际认证让科技赋能时尚
- c++该怎么学习(面试吃土记)
- 面试官问发布订阅模式是在问什么?
- 面试官:请实现一个通用函数把 callback 转成 promise
- 空中悬停、翻滚转身、成功着陆,我用强化学习「回收」了SpaceX的火箭
- 中山大学林倞解读视觉语义理解新趋势:从表达学习到知识及因果融合