自然语言处理NLP星空智能对话机器人系列:贝叶斯Bayesian Transformer课程片段1到片段7
2023-09-27 14:26:46 时间
Coherence is everything you need!
– Gavin Wang(星空智能对话机器人作者,AI通用双线思考法创始人)
贝叶斯神经网络(Bayesian Neural Network)通过提供不确定来回答“Why Should I Trust You?”这个问题。实现上讲,贝叶斯通过集成深度学习参数矩阵中参数的Uncertainty来驾驭数据的不确定性,提供给具体Task具有置信空间Confidence的推理结构。
一般的神经网络我们称为Point estimation neural networks,通过MLE最大似然估计的方式建立训练的目标函数,为神经网络中的每个参数寻找一个optimal最优值;而贝叶斯深度学习一种把概率分布作为权重的神经网络,通过真实数据来优化参数的概率分布,在训练的过程中会使用MAP最大后验概率集成众多的模型参数的概率分布来拟合各种不确定的情况,提供处理数据不确定性的信息表达框架。
Transformer是一个符合Bayesian深度学习网络的AI架构,尤其是其经典的multi-head self-attention机制,该机制其实采用模型集成的思想来从工程角度落地贝叶斯深度学习网络;基于Prior先验信息的正则化效果,multi-head机制所表达的信息多元化及不确定性能够提供具有高置信度区间的回答 “Why Should I Trust You?” 这一问题
为了帮助大家更好的理解上面的内容,星空智能对话机器人团队发布以下视频供大家学习:
相关文章
- 智能流程机器人助你“聚划算”
- Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之免费录播课Rasa 3.X 智能对话机器人案例开发硬核实战高手之路 (7大项目Expert版本)之 Debugging项目实战系列
- 自然语言处理NLP星空智能对话机器人系列:贝叶斯Transformer语言模型GPT课程片段1到片段4
- 自然语言处理NLP星空智能对话机器人系列:贝叶斯Bayesian Transformer论文源码复现课程片段1至片段9
- 自然语言处理NLP星空智能对话机器人系列:Gavin Transformers 101问
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第18章:BERT CommonLit Readability Prize比赛中的高分思路及源码解析
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第9章 ALBERT Pre-training模型及Fine-tuning源码完整实现、案例及调试
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第16章:Kaggle BERT比赛CommonLit Readability Prize赛题解析
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第6章
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第三章
- 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第5章
- 自然语言处理NLP星空智能对话机器人系列:智能星空对话机器人10月22、23、24日的演示安排
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 T5 Bill of Rights Sample
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Generating unconditional samples with GPT-2
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Matching datasets and tokenizers
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Training a GPT-2 language model
- 自然语言处理NLP星空智能对话机器人系列:第5次星空智能对话机器人线上演示
- 自然语言处理NLP星空智能对话机器人系列:第八次星空智能对话机器人线上演示
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Text completion with GPT-2 step3-5
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Text completion with GPT-2 step 9
- 自然语言处理NLP星空智能对话机器人系列:第五次星空智能对话机器人线上演示
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 BertViz
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 WMT数据处理
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 KantaiBERT Initializing model
- 自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 多头注意力架构 Concatenation of the output of the heads