zl程序教程

您现在的位置是:首页 >  其他

当前栏目

中国人工智能学会通讯——深度学习的迁移模型 四、迁移学习应用案例

2023-09-27 14:26:11 时间
四、迁移学习应用案例

下面说一下我和我的学生一起做的迁移学习的工作,尤其是跟深度学习结合。

一个叫戴文渊的学生,在第四范式这个公司做的工作就很有意义,他们为银行做一个大额产品的营销,比如说车贷,比较贵的车贷的样本非常少,少于100个,这么少的数据是没办法建模型的,怎么办?去借助小微贷款的数据,比如说上亿客户的交流,然后发现两个领域,一个是小微贷款,一个是大额贷款,它们之间的共性,把这个模型迁移过来,这就使得它的响应率提高了2倍以上。

image

另外是我们要去发表的一篇文章,做舆情分析。我们知道舆情分析是非常有用的,不管是在商业上还是在政府的服务上,大家都希望了解那么多的留言,是正向还是负向的?为什么是这样的?对哪些产品有兴趣?大家对哪个服务满意?等等。我这里给出两个不同的领域,如果我们在一个领域已经有像最左边这里给出的标注,比如说Great,这就是一个赞;说这个是Owful book,就给出一个差。我们的问题是能否借助相同领域的数据来减少我们的分量,使得我们建立一个靠谱的模型,在新的领域——目标领域。这是一个非常好的迁移学习的场景。

但是过去做迁移工作时,需要有一个概念叫Pivot,两个领域之间共享的关键词,这两个关键词对于指出这个是正向和负向也是非常有用的,像Great这个词,Boring和Awful,以前完全是靠人找到这两个词,我们知道这是不靠谱的。

image

我们通过迁移学习把这个词找出来,在这里用的工具是Adversarial模型,在一堆摹本里找出关注量比较大的词和词组,有了这一Adversarial模型,就可以自动打分。打的分数是否靠谱,可以用另外一个Domain Label的词告诉我们,什么样的词才有这样的特性?首先两个领域共享,能够帮助我们在新领域共同地指出舆情的趋向。同时希望模型越少越好,就是这三件事翻译成目标函数里,就能建立模型。左边是舆情的Classifier,右边是领域的。我们同时希望领域的混淆度越大越好,同时希望Sentiment(舆情)的准确率越高越好,这两个之间形成博弈,就形成了GAN的概念。另外是多任务学习,就是两个任务共同进行、共同有一些共享。

最后我们在正确设定了一些距离函数和Loss以后,就可以学出来,效果非常好。

image

最后一个应用是和上海汽车做的研究,汽车在跑的时候能否根据它的路况分析车到底做什么?是共享还是私用的?我们很荣幸得到了一些数据,在这些数据里可以同时进行两种分析,一种是图像分析,虽然我们本领域没有太多的标注数据,但是可以借用出租车来学习。左边的是同时做两个任务的学习,第一个是根据现在出租车的数据,来帮助我们标注互联网汽车的数据。但是这个当中可能会有错误,所以我们在本领域可以用一些图像分析来矫正这些错误,校正完再拿回来拓展这样的一个样本集。在这两个之间进行多次往返以后,就会得到一个很靠谱的模型,最后这样的一个算法我们就可以得到一个很不错的迁移效果。

最后总结一下,迁移学习和深度学习可以非常有机地结合,两个是可以互补的。深度学习帮助我们分非常细的层次,每一层可以进行量化的分析,迁移学习可以帮助深度学习变得更加靠谱,得到的一个结果就是深度学习的迁移模型,同时也应该说是迁移学习的一个深度模型。

(本报告根据速记整理)


2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元 人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,近年来,中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目 机器之心和 Comet Labs 联合发布了影响全球人工智能公司的榜单。我们选取了基础研究、技术和产品、行业潜力、公司运营能力、资本实力等五个维度,甄选出了全球范围内最具前途的 100 家人工智能公司,它们包括那些我们已经熟知的科技巨头,垂直行业独角兽,也有尚在萌芽的初创公司。 当然,这份榜单肯定没有做到尽善尽美,也存在 100 家的名额限制,但我们坚信,这份基于我们诚意、内容经验和专业判断的不存在任何商业利益的榜单可以为大家总结和精炼出一些有价值的信息,带给大家灵感和启发。