阿里创新知识蒸馏方法,论文入选顶会CVPR 2022口头报告
6月23日消息,阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法,在多个计算机视觉基准测试中,显著提升算法性能,超越业界最优方法。相关论文已被顶会CVPR 2022收录为口头报告(Oral)。该技术集成于达摩院自动驾驶算法库,未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。
知识蒸馏是一种模型压缩/模型训练方法,指将训练好的大模型(教师模型)的知识“蒸馏”提取到有待训练的小模型(学生模型)中,让小模型获得与大模型相当的泛化能力。大模型往往体积较大、部署成本高,小模型灵活小巧,能够最大限度降低对计算资源的消耗。
CVPR 2022官网的论文分享
知识蒸馏是业界和学界的热门研究课题。达摩院论文Knowledge Distillation via the Target-aware Transformer指出,以往的知识蒸馏方法,大多以一对一的空间匹配方式,将教师模型的特征提取到学生模型。但由于结构差异,大小模型在同一空间位置上的语义信息通常是不同的,这极大削弱了一对一蒸馏方法的基本假设。
论文提出一种新的基于transformer的一对多空间匹配方法,将教师模型特征的每个像素提取到学生模型特征的所有空间位置,通过参数相关性来衡量以学生特征和教师特征的表征成分为条件的语义距离,并对这种相关性进行建模。
在ImageNet、Pascal VOC和COCOS-tuff10k等基准测试中,新方法表现出色。如,针对ImageNet数据集的图像分类任务,基于同一个学生模型(tiny ResNet18),新方法将模型的top-1准确率从70.04%提高到72.41%,显著高于之前最优蒸馏方法的71.61%。;针对COCO-Stuff10k上的语义分割任务,新方法将mobilenetv2结构的mIoU提高1.75%。
达摩院研发的物流无人车小蛮驴现已配送订单超过1000万
知识蒸馏方法广泛应用于知识迁移、半监督学习、计算机视觉等下游算法。自动驾驶技术团队更关注其对线上模型性能的提升,让小模型也能起大作用,论文作者于开丞介绍,“自动驾驶是个超级AI系统,每天都要处理海量的图像、点云信息,算法性能关系到终端产品的智能性、安全性、可靠性,可以说,是工业实践推动着技术创新。”
据悉,达摩院研发的L4级自动驾驶产品小蛮驴现已落地超过500辆,在学校、社区等末端场景配送订单超过1000万。达摩院已启动面向干线物流的无人卡车“大蛮驴”的研发。
相关文章
- Nature子刊:未经训练的神经网络也可以进行人脸检测
- 阿里大调整;数字人民币 App 上架;中国移动回归 A 股;北京冬奥列车暨高铁 5G 超高清演播室上线
- 今年CES的五大看点:汽车成科技产品 元宇宙大热风口
- 警惕!公司裁员的三个迹象
- 比MAE更强,FAIR新方法MaskFeat用HOG刷新多个SOTA
- 你说我画,你画我说:全球超大中文跨模态生成模型文心ERNIE-ViLG
- Google和Facebook因违反Cookie规定在法国收到新一轮罚单
- 现代在CES上展示全新机器人模块 旨在为无生命物体增加移动性
- 谁是深度学习框架一哥?2022年,PyTorch和TensorFlow再争霸
- 用图像混合学习更细粒度的特征表示,CMU邢波团队新论文入选AAAI
- CES开幕:AMD Zen 4震撼全场,移动版酷睿亮相,英伟达发布3090Ti
- 阿里副总裁、达摩院自动驾驶负责人王刚离职,将开启创业之路
- 面试官:判断一个数是否为2的整数次幂
- 全球程序员收入报告:字节跳动高级工程师 年薪274万排名第五
- 互联网大厂裁员潮:互联网行业凛冬将至?
- “女版乔布斯”被定罪!曾靠“一滴血”狂揽40亿,现最高20年监禁
- 漫画互联网大佬们的生意经
- 我,37岁,从互联网大厂跳槽到国企后,我发现没有一劳永逸的工作
- 谷歌等揭露「AI任务疑难」:存在局限的ImageNet等基准,就像无法代表「整个世界」的博物馆
- 第四期学习活动—第一天优秀作业