MIT 6.S91 Introduction Deep Learning Notes
MIT learning Deep Introduction Notes
2023-06-13 09:17:22 时间
1.Introduction to Deep learning
- 震撼,第一节课直接放大招,用自己拍摄的视频和奥巴马合成来介绍这门课程。
- 不管老师在课程上讲什么,希望你们能真正的思考为什么这一步是重要而且必须的,正是这些思考才能做出真正令人惊讶的突破。
2.Deep Sequence Model
Three way to solve gradient vanish
- Gated Cells
- LSTM
- Forget
- Store
- Update
- Output
- LSTM
- Attention [[Transformer]]
3.Deep Computer Vision
- 介绍卷积操作,是一种提取特征的方法生成feature maps(还有其他的方法可以用吗?然后效果还不错);
- 与全连接相比的优点;
- Fast RCNN用于目标检测,怎么实现推荐特定区域图像?
- 医学图片分割
- 总结:
- 原理
- CNN架构
- 应用
4.Deep Generative Models
- what 目标: 来自于一些分布中的训练样本,通过这些样本学习模型来表征这个分布;
- how 密度估计;神经网络适合来进行高维度表征;
- why
- Debiasing: Capable of uncovering underlying features in a dataset
- Outlier detection: how can we detect when we encounter something new or rare?
- Latent variable representation:
- 举例事物的投影,只能看见影子即表象,而被灯光照射的实物是看不见的即隐变量;要做的是通过观察到的投影来对实物进行建模
- Autoencoder: reconstruction loss
- 完全是确定性性
- VAEs:normal prior + regularizationreconstruction loss + regularization termencoder: q_\phi(z|x)decoder: p_\theta(x|z)KL-divergence: D(q_\phi(z|x)||p(z))
- GANs
- make a generative model by having two neural networks compete with each other
- ⭐️CycleGAN: domain transformations 视频开头的视频就是用这个合成
5.Deep reinforcement learning #
- Reward:
- Q-function: expected total future reward
- Policy: to infer the best action to take at its state, choose an action that maximizes future reward
- Value Learningfind Q(s, a)a = \mathop{\arg\max}\limits_{a}Q(s, a)
- Police Learningfind \pi(s)sample a\sim\pi(s)
- Deep Q Network(DQN)
- Policy Gradient
- AlphaGo
6.DL Limitations and New Frontiers
- limitations
- Generalization
- data is important
- Uncertainty in Deep learning
- adversarial attack
- Algorithmic Bias
- Generalization
- Frontiers
- encoder
- many real world data cannot be captured by standard encodings
- GCN(Graph Convolutional Networks)
- Automated AI
- encoder
7. LiDAR for Autonomous Driving
@INNOVIZ
- Camera Vs LiDAR
- 互补,视线不好的情况
- 冗余能保证准确
- Safety and Comfort
8. Automatic Speech Recognition
@Rev
- Conformer
- CTC
9. AI fore Science
Principled AI Algorithms for challenging domains @Caltech
10. Uncertainty in Deep Learning
longer version:NeurIPS 2020 Tutorial @Google AI Brain Team
- Return a distribution over predictions rather than a single prediction
- Out-of-Distribution Robustness
- covariate shift: distribution of features changes
- open-set recognition: new classes may appear at test time
- label shift: distribution of label changes
- sources of uncertainty
- Model uncertainty
- 认知上的不确定性
- Data uncertainty
- human disagreement label noise
- measurement noise
- missing data
- Model uncertainty
- how to compute
- BDN
- GP
- Deep Ensemble
- MCMC
- multi-input and multi output(MIMO)
- how to communicate with uncertainty?
7-10讲很一般,一个复杂的主题,需要将背景讲清楚,公司讲东西也没啥具体细节。
相关文章
- 【MIT博士论文】控制神经语言生成
- MIT_6.s081_Lab3:Xv6 and PageTable
- 解决神经网络的百年难题,MIT新模型Liquid CfC让模拟大脑动力学成为可能
- MIT最新成果:这款能「自我复制」的机器人,从飞机到火箭都能自己造!
- MIT 6.828 操作系统工程 2018 fall lab1 part3 内核 笔记 and 中文注释源代码阅读
- 2023「诺奖风向标」斯隆奖揭晓! MIT韩松等30位华人学者入选
- MIT 6.828 操作系统工程 Lab6: e1000 网络驱动程序
- CVPR 2023 | 谷歌、MIT提出统一框架MAGE:表征学习超MAE,无监督图像生成超越 Latent Diffusion
- 机器学习嵌入物理知识成为「时尚」,MIT讲师解读Nature子刊综述论文
- 矩阵乘法无需相乘,速度提升100倍:MIT大佬的新研究引发热议
- MIT博士毕业,「太极」作者胡渊鸣回国创业,专注图形编程
- 创建新理论解释运行原因,MIT研究者探索深度网络的基础理论问题
- 炸裂!让Python和C一样快,MIT推出新编译器,训练大数据集可提速5-10倍
- 独家专访 MIT 2017 年度 TR35 吴翰清
- 为什么MIT的专利许可不讨人喜欢?
- MIT研发的柔性机器鱼与真正的鱼群融为一体
- MIT 研发会“编程”的折纸,用软件 DIY 充气包装
- MIT这样的顶尖名校是怎么上机器学习课的?
- MIT古气候研究人员发现全球变暖会进一步放大这种效应
- 无线VR头显不是梦,MIT推出无线通信系统 MoVR