【问答集锦】人工智能/机器学习技术在电商场景下的应用
近年来阿里不断运用深度学习、强化学习等人工智能领域的相关知识优化自身电商平台的搜索引擎和推荐系统,让其从冷冰冰的系统不断成长为越来越懂用户的智能购物助手。
日前,《尽在双11》人工智能部分执笔人 阿里技术专家 乐田 与 仁重 就 “人工智能/机器学习技术在电商场景下的应用” 问题在OSCHINA与大家开展了问答活动。
本文整理了两位老师在开源中国高手问答中的精彩问答。
1 . 机器学习在电商方面除了广告推荐之类的方面外,还有其他的应用么?谢谢,还有学习这方面需要哪些知识
机器学习在电商领域的应用从外部产品来看主要涉及3个:搜索、广告、推荐。从内部来看,从商品选品、流量生成机制、物流优化、物流机器人、智能客服、互联网信用贷款等方面都会用到机器学习。 学习机器学习有之前传统的统计学习例如《The Elements of Statistical Learning》,《支持向量机导论》、周老师的西瓜书等经典教材;现在最新的Deep Learning也出书了。
2 . 机器学习在阿里电商场景下的最常用算法有哪些?阿里对哪些算法做了有针对性的优化和改进呢?阿里目前推荐系统从用户访问到根据访问记录进行推荐的实时性是多久?
LR、GBDT、RNN有不少人在用了,还有首创的MLR、ItemCF。。针对性的优化和改进主要是在适配阿里的计算平台和大数据方面,这方面例子比较多,如对ItemCF 的Swing算法。
3 . 现阶段的人工智能离传统的应用程序员还是很远,请问有什么办法能够快速普及吗?
是技术发展过程中本身的分化导致的,技术发展就是要普惠更多的人,让更多的人参与门槛持续降低,无论怎么低,通晓基本原理和基本的训练是必要的,跟学编程差不多。
4 . 深度学习算法在实际应用中是否比较曲折,对于数据的抽象工作特别难,中小型公司是否更加适合随机森林这种非深度算法?
选择团队能驾驭的算法,对于新方法可以培养团队的驾驭能力。
5 . Tensorflow 这个框架主要应用在哪些方面场景?
用户和商品的Embedding、Wide Deep、GANs等。
6 . 阿里有计划使用Tensorflow加入推荐系统里吗?
有较多的场景在用Tensorflow了。阿里推荐系统的逻辑架构在《尽在双11》一书上有介绍,具体的基础设施可能阿里特色较多一些。
7 . 目前推荐系统多数是使用标签模式来给用户推荐吗?怎么判断用户符合系统推荐的商品?除了机器推荐,后期会有人为控制去跟进吗?
部分推荐场景如“微淘”,是使用了标签进行推荐的。使用标签推荐的前提是这种推荐对象更适合标签的方式来描述。推荐体验分析相对搜索结果分析是个全新的问题,需要考虑个性化,还有选择评估样本的代表性。
8 . 让机器自动学习怎样去推荐,最后会不会连开发者都不知道系统是怎样推荐的?如果这时候发现系统推荐的商品有问题,怎样确定问题出在哪里?怎样调整系统的算法?
这涉及到推荐系统的自省(reflection)能力,从实现上说,自省能力是推荐系统正向过程的逆过程,由于涉及算法比较复杂,逆向过程只能在部分上反映推荐过程是怎样的,一定程度上可以debug推荐结果的问题。
9 . 统计用户行为需要搜集并保留所有用户的所有行为,除了购买行为外还包括浏览行为、关注行为、加入购物车行为等,请问采用单元粒度的分布式架构是否更为合理?
单元化是在服务端(在线服务)进行的,对用户数据汇总分析不是单元化的,而是把所有单元的数据汇总的结果。
10 . 外网的数据,如何整合到推荐系统里,提高推荐的正确性?
外网的数据必须要能描述用户或推荐对象才能使用,而且考虑到站内的数据的完整程度,外网的数据补充进来价值会不同。
11 . 小公司要做实时推荐有什么框架可以使用
选择开源的工具和平台,例如Spark、Storm等,结合HBase计算端存储和LevelDB、Redis等在线端存储应该是个可行的方案
12 . 阿里的推荐算法用的在线的多还是离线的多?因为可供学习的数据很多,每次从头来量应该很大。
部分场景是纯在线的,部分场景是在线离线结合的,还有一部分是纯离线的。离线处理数据重新计算是个问题,因此离线也不太可能处理很长时间的数据。
13 . 现在很多推荐算法是不是有问题?总是推荐我买过的东西,并且从品牌层次和商家都不匹配。
我们针对用户已经购买的商品进行了部分过滤,商品类目也是个比较复杂的事情,有时候看起来是一个品类的商品,实际上是属于不同的类目,比如运动鞋和男鞋就是不同的类目。这个问题已经比较久了,只能逐步解决。
14 . 算法程序建模之后,怎么验证代码的准确性? 程序员之间互测? 算法调优有啥思路?
算法一般都会隐藏一些“bug”,只不过这些bug对结果的影响大小的问题,所以坊间也有通过修复bug来提高效果的。算法建模之后通过test数据集进行验证。
15 . 像淘宝每天每周都有很多新加入的商品,请问算法团队是如何做的?新加入的商品应该如何给排序值,确定值大小?
冷启动的商品会分配极小的流量进行探索性投放。
16 . 目前可以使用算法编写的语言很多,python吗? 贵团队是如何决策的?
底层的算法和工程系统使用C/C++开发,应用层适应多变的需求,使用Java开发,Python和Java的功能类似,在运行效率和库的完备度方面弱一些,也有使用。
最后,安利一下这本著作——《尽在双11》。本书以双11为着眼点,从技术的角度,展示了阿里巴巴的演进、变革与发展,系统地阐述了阿里巴巴重要阶段的技术进步历程。
识别人工智能用户场景---一种规格并不适用于所有场景(Noogata) 人工智能已经成为主流。各种类型和规模的企业都充分意识到人工智能可以释放巨大的价值,但对于非数据原生组织来说,这一说法似乎仍然相当模糊。这意味着什么?他们是如何获得这个价值的?在之前的博客中,我们的首席执行官 Assaf Egozi 谈到了如何在组织内使用 AI 以及一些好处。但现在是时候具体化了——单个组织如何缩小选择范围以找到最佳用户场景? Noogata 运营副总裁 Roni Lieber 概述了她用来帮助客户导航其选项的方法。
人工智能在工作场景下的新兴技术及伦理问题 人工智能正在迅速的进入工作场所。因为人工智能能够在瞬间做出明智的预测,并以人类无法匹敌的规模完成特定任务,因而正在被应用于从业务流程到分析的所有领域。
重新定义生产力,阿里云的人工智能场景落地之路 在6月10日的云栖大会上海峰会上,阿里云发布了一系列云计算、大数据、人工智能等产品。最受关注的,当是ET环境大脑及视觉智能服务,前者预示阿里云又进入并布局一个新领域,后者意味着阿里人工智能技术的再一次迭代升级。更深的意义则是,又一个领域的多个行业数家企业能够借助阿里云整体解决方案,步入转型升级的快车道。
阿里云边缘云亮相世界人工智能大会 构建场景化边缘应用 在上海世博展览馆H2馆,阿里云举办“AI创未来,云上新城市”主题展览展示,展区共分为“技术新高地”、“政企数字化”、“美好新生活”三大板块,以硬件+软件+互动体验的形式,聚焦人工智能热点,以AI技术创新赋能政企数字化转型。其中,阿里云边缘云展示内容受到参会观众和媒体的热烈欢迎。
【云栖号案例 | 物联网&人工智能】安心加科技打造多维度全场景式安心加物联平台 安心加业务模块多,集中管理成本高,智能终端量大,需要高性能的服务能力。上云后,内部统一接口形成标准化的AP体系,实现海量业务消息的上下行。
[转]人工智能公司D轮存活率不到6%,场景落地距离BP很遥远 在10月17日的达晨2019年经济论坛上,达晨财智业务合伙人窦勇发表演讲表示,人工智能初创企业,到D轮之后存活率不到6%,企业BP里展示的场景落地,距离很遥远。资本泡沫之后,大家开始反思投的这些企业,未来的成长盈利点在什么地方,有没有现金回流?
案例篇-HBase 在人工智能场景的使用 人工智能逐渐火热起来,特别是和大数据一起结合使用。人工智能的 主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。
相关文章
- 【华为云技术分享】机器学习(02)——学习资料链接
- 机器学习笔记 - 翻译:如何成为一名数据科学家
- 机器学习笔记 - 探索 keras 数据集
- 机器学习笔记 - 什么是高斯混合模型(GMM)?
- 机器换人!浙江高院庭审引入语音识别技术!
- Atitit attilax涉及到的大数据 数据分析 数据挖掘 ai人工智能的处理技术 目录 1.1. 大数据 机器视觉 图像处理 数据分析 数据挖掘 知识图谱 ai人工智能方面系列项目1 2.
- XAI之GS:全局代理(Global Surrogate,对黑盒机器学习执行模型可解释性的技术)的简介、常用工具包、案例应用之详细攻略
- ML与Regularization:正则化理论即bias-variance tradeoff(权值衰减/提前终止/数据扩增/Dropout/融合技术)在机器学习中的简介、常用方法、案例应用之详细攻略
- ML&DL:《Hyperparameter tuning for machine learning models机器学习模型的超参数调优》翻译与解读
- AI:人工智能领域主要方向(技术和应用)、与机器学习/深度学习的关系、数据科学关键技术与知识发现/数据挖掘/统计学/模式识别/神经计算学/数据库的关系(几张图理清之间的暧昧关系)
- NLP之ASR:基于python和机器学习算法带你玩转的语音实时识别技术
- Interview:算法岗位面试—上海某公司算法岗位(偏机器学习,互联网金融行业)技术面试考点之数据结构相关考察点—斐波那契数列、八皇后问题、两种LCS问题
- ML之LiR:机器学习经典算法之线性回归算法LiR的简介、使用方法、经典案例之详细攻略
- ML与Regularization:正则化理论即bias-variance tradeoff(权值衰减/提前终止/数据扩增/Dropout/融合技术)在机器学习中的简介、常用方法、案例应用之详细攻略
- python教你最简单的机器学习算法:KNN,有手就行
- 【华为云技术分享】机器学习(02)——学习资料链接
- 机器学习笔记(九)---- 集成学习(ensemble learning)【华为云技术分享】
- 【阶段三】Python机器学习17篇:机器学习项目实战:随机森林回归模型
- 【机器学习实验】学习Python来分类现实世界的数据
- 搞机器学习要哪些技能/算法工程师的技能
- 结合Java和机器学习技术,如何驾驭大数据提升业务效率和竞争力?
- 基于机器学习的异常检测与分析技术