Prompt Learning
learning prompt
2023-09-14 09:14:41 时间
回答一：
结论很简单：
- 离散的Prompt Tuning（Prompt Design）基本不能达到fine-tuning的效果；Soft Prompt Tuning在模型增大时可以达到接近fine-tuning的效果，并且有进一步超越fine-tuning的趋势。
- 另外，Prompt Tuning往往比模型调优提供更强的零样本性能，尤其是在像 TextbookQA 这样具有大域变化的数据集上。
- 如果比的是Parameter Efficiency性能，那几乎没有什么能与Prompt Tuning比，我们也知道Prompt Design甚至不需要任何参数。
回答二：
当你没有数据的时候prompt tuning更好。
在业界很适合用来做一些proof of concept的事，也适合处理一些long tail 只有biased数据或者缺数据的情况。试想你有一个idea，吭哧吭哧做一两个月opportunity analysis, data engineering。最后figure out出来work还好，不work就真的挺浪费时间的。要是用prompt搞一点proof of concept的东西很快就能知道是不是work，值不值得继续invest。
【NLP】Prompt Learning 超强入门教程 - 知乎
相关文章
- 4.图学习初探Paddle Graph Learning 构建属于自己的图【系列三】
- Prompt Learning——basic & 【EACL 2021】PET
- Redis教程(一)--Keep Learning系列
- SQLite数据库教程--Keep Learning系列
- 【论文阅读】Learning Graph-based Disentangled Representations for Next POI Recommendation
- graph representation learning_with for什么意思
- 浅聊对比学习（Contrastive Learning）第一弹
- learning: nat 插件说明(1)
- learning：NAT-ED两种配置模式
- MIT 6.S91 Introduction Deep Learning Notes
- 把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开
- 7 Papers & Radios | 无需注意力的预训练；被GPT带飞的In-Context Learning
- kafka原理解析-《Learning Apache Kafka, 2nd Edition.pdf》详解编程语言
- 深度学习（Deep Learning）发展史
- Human-like learning在对话机器人中的魔性运用 | 公开课读者问答