iGear又双叒升级,AAML亮相!
作为服务于算法工程师的一站式AI平台,除了日常从实际用户侧收集痛点。iGear的产品经理也会时不时打入内部,以了解算法工程师的日常,某天小编看到某乎上的关于该问题的一系列回答
总结了大部分算法工程师的日(tong)常(ku)
如下
可以看出,算法工程师深受数据质量和模型调优的困扰
如何让算法工程师脱离这种“工作重复,没有看得见的快乐”的伤心困境呢?
iGear一直认为平台做的多一点,自动化流程完善一点,算法工程师操心的事情就少一点。
最近全新优化上线后的AAML - Auto Active Machine Learning(自主主动机器学习)就是iGear为自动化、智能化努力的阶段性成果。
关于iGear AAML的理念我们之前在机器视觉深度学习的标注/训练闭环斐波那契螺旋线:iGear AAML已经介绍过,简单复习一下:
原始车端采集的数据经过数据ETL处理后,得到标准化的数据池。数据池中的待标注数据直接进行人工标注(可能在此之前先用AI标注降低标注成本),最终标注完成导入训练平台进行模型训练。但是数据池数量大,如果每一帧数据都需要去标注、训练,成本巨大且不一定能得到一个优质模型。
iGear提出的AAML打通了数据标注和模型训练,形成数据闭环,尽可能用更少的标注数据训练出最优的算法模型。
Active ML - iGear标注平台
标注平台用AAML模型对全量数据进行处理,AAML模型主要由推理器 + 筛选器 + 过滤器三个重要部分组成,分别对应以下三步数据处理:
第一步:推理
推理器会对数据池的全量数据进行推理。
第二步:筛选
推理后的数据进入筛选器,筛选器会筛选出能对算法模型有益的数据,其它数据暂时舍弃。筛选器主要根据图片特征差异性、目标置信度、类别置信度等维度信息综合评判。
第三步:过滤
过滤器筛选出的目标进行合理性评判,根据目标的空间位置、类别、几何形状等维度进行综合评判,过滤掉不合理的目标。
经过AAML模型的数据处理,标注平台侧只需要人工对这小部分数据进行人工审核修改即可,降低了数据标注成本。最终标注完成的数据会导出到训练平台。
Auto ML - iGear训练平台
接收到标注平台导入的训练数据集后,iGear训练平台无需等待全部数据标注完成,可先用这一小部分标注数据发起训练任务。
第一步:模型训练
利用提前注册好的训练镜像发起训练任务。
第二步:自动搜参
平台支持AutoML工具包NNI,选择合适的搜索算法,配置要搜索的超参数,NNI可以帮助我们自动搜索出最优的参数组合。(相关文章:什么!可以自动搜参啦?——iGear训练平台功能上新)
第三步:模型评测
训练完成后,经过模型评测流程查看模型表现,针对评测结果对模型进行优化。
优化后的模型回传至标注平台,作为AAML模型的升级版本,提高标注平台数据推理的准确度。
AAML - 数据闭环
AAML则是Active ML与Auto ML的数据闭环。
iGear标注平台产生的标注数据自动打包为训练数据集,同步至训练平台,训练侧可一键拉取数据,无需重新上传数据包;
同时,iGear训练平台迭代后的模型也会同步至标注平台,作为AAML模型的升级版本,助力下次的数据推理;
如此循环往复,不断滚动,直至训练出最优的算法模型。
AAML让数据标注和模型训练真正成为一个闭环体系而不是割裂的串联模块:通过细粒度的感知结果评估,标注系统将更关注于有价值的场景,用更少的标注成本进行更有效的数据标注;训练系统则更有针对性地进行模型场景化提升和迭代,阶段性的模型反哺标注平台以提升自动化标注精度。感知研发不再是单向的,而成为了一个多阶段的闭环,使得标注&训练体系的综合效率提升40%以上。
不···正经分割线···
除了看《算法工程师的日常》
《20 万、50 万、100 万年薪的算法工程师在能力素质模型上有哪些差距》这一问题下千赞回答也深深深深深深(+N)吸引了小编的注意(谁不想年薪百万呢)
小编一看,iGear AAML这个近乎全自动的工具链不就是帮算法工程师第一层次的时间成本降到最低,从而专心于第二、第三层次的模型改造、定义问题上嘛?
各位平台侧的算法工程师,iGear AAML如果在你从20万年薪50万年薪甚至百万年薪的路上起到了一点点的帮助作用,希望大家?
新用户指路??
登录帆一云SAIL-Cloud官网(sail-cloud.com)或iGear官网(ai.sail-cloud.com)填写相关信息后,工作人员会联系您试用~
i车Gear联
一群致力于推动汽车智能网联化发展进程的工程师,一群投身于汽车产业数字化变革的小年轻,一个以数据处理和AI技术为汽车研发行业服务的团队,将日常所见、所想、所感分享于此,一起笑看风云起。
相关文章
- 腾讯云 x Elasticsearch 携手三周年有奖征文大赛
- 微服务架构下路由、多活、灰度、限流的探索与挑战
- CODING X 小鹅通|助力知识教育行业开启 DevOps 数字化转型新篇章
- 如何做好组装式应用?
- 干货 | 疫情背景下的中长期月度预测方案
- 干货 | 携程酒店慢查询治理之路
- 开源 | 携程度假零成本微前端框架-零界
- RCTF-Web
- 干货 | 记一次跨域配置引发的思考
- RSS Can:将网站信息流转换为 RSS 订阅源(三)
- photoshop2023软件安装包64位最新版下载
- DNSPod十问陈迪菲:从C到B,鹅厂设计师的中场战事
- 【ES三周年】+es快速入门&基础概念讲解
- 行业方案 | 新规落地,企业集团财务公司如何构建数智财务体系?
- TAPD思享汇|高科制造企业如何软硬协同、敏捷提效?
- 瑞幸瞄准蜜雪冰城?
- 干货 | 深度学习在携程搜索词义解析中的应用
- 干货 | Islands Architecture(孤岛架构)在携程新版首页的实践
- 干货 | 提前在开发阶段暴露代码问题,携程Alchemy代码质量平台
- 干货 | 浅谈携程大住宿研发效能提升实践