AI公开课:19.04.03周明—MSRA副院长《NLP的进步如何改变搜索的体验》课堂笔记以及个人感悟
AI公开课:19.04.03周明—MSRA副院长《NLP的进步如何改变搜索的体验》课堂笔记以及个人感悟
导读
周明博士,1999年加入微软研究院(MSRA)。现任微软亚洲研究院副院长。他现任国际计算语言学会(ACL)会长,中国计算机学会理事、中文信息技术专委会(即NLP专委会)主任、中国中文信息学会常务理事。他带领团队进行了微软输入法、英库词典(必应词典)、中英翻译、微软中国文化系列(微软对联、微软字谜、微软绝句)等重要产品和项目的研发,并对微软Office、必应搜索、Windows等产品中的自然语言技术做出了重要贡献。近年来,周明博士领导研究团队与微软产品组合作开发了微软小冰(中国)、Rinna(日本)、Zo(美国)等聊天机器人系统。
周明博士发表了120余篇重要会议和期刊论文(包括50篇以上的ACL文章),拥有国际发明专利40余项。他多年来通过微软与中国和亚太地区的高校合作计划,包括微软-高校联合实验室、微软实习生计划、微软-高校联合培养博士生计划、青年教师铸星培养计划,与高校和学术组织联合举办暑期学校和学术会议等多种形式,对推动自然语言处理在中国和亚太的卓越发展做出了杰出贡献。
目录
问答环节
雷鸣教授:关于多轮语义分析器的看法。多轮还是限制场景,可以理解为算力或者某种不足。
周明教授:上下文信息如何关联,一定要考虑场景,通过场景定义状态,然后进行推理。
雷鸣教授:算力推动的发展,科研要跟着算力走,算力与自然语言的关系,未来的发展,是否会因为算力而提高?
周明教授:算力当然永远是重要的,有些问题,本身没有太多的训练语料,单凭算力是没办法的,可以通过人类的知识库,加以改进。人类模型如何建,如何融入到模型中。关于多轮,是出现动态的变化,无法提前通过输入输出得出,还需要常识、知识库的融入。基于数据驱动的,可以把模型建好。基于知识或者推理,背后还需要算力的。但是整个理论体系还没有起来,如果理论建好,那时候或许还是要看算力。
雷鸣教授:深度学习和知识图谱如何融合?语言其实是更大范围的表征。
周明教授:背后的技术可以用深度学习来做,可以把知识图谱也做词嵌入,与词的嵌入类似。但我不认为,该方向不太会有大的突破。第一,怎么来把知识图谱完备好;第二,假设知识图谱完备的情况下,如何去做推理。
雷鸣教授:动态理解,比如对视频的理解,单句或者一帧图片已经可以了。但是多轮的情况下,比如多轮对话,未来的发展,计算机视觉和自然语言处理的关系?
周明教授:未来人与机器的交互就是多模态的,现在的研究都是单模态的。现在,这是个特别诱人的方向,但是困境是缺乏相应的数据集。建议做语言与图像的双模态的数据集,以后可以做更大的数据集,来慢慢推动这个领域。基于数据集的驱动。
雷鸣教授:谈一下那些领域会有比较好的进展,在落地或者终端用户,适合学生创业的方向
周明教授:比如多模态的问答,先从单模态做起,先不加推理,以后再一步一步加上推理。关于哪些应用,具体的有,比如文本生成,把一首诗生成出来,但是不太符合逻辑,所以要结合逻辑生成诗句,会对人类的文档生成巨大的影响。再比如翻译、信息抽取,会对某个垂直领域,财经、医疗等。不一定会产生100%好,其实60%也可以产生很多效益。
雷鸣教授:NLP最近在挑战图灵测试吗?目前有多大进展。算力的重要性。
周明教授:真正的人工智能,凭图灵测试,其实并不能代表。大家要尊重算力,它体现了解码能力、信息抽取能力。人类建模的能力,常识知识推理。算力要有的话当然要有,还是要强化建模能力,去潜心做研究。
雷鸣教授:量变到质变,基于词法语法、基于概率统计(算力开始体现)、基于深度学习(更强的算力),算力的提升会对算法有更好的体现,但是并不是要以算力为王,根据算力的基础,做出更好的模型。
雷鸣教授:如何理解非自然语言,比如写代码,计算数学公式
周明教授:…………,常识结合推理,认知。
雷鸣教授:同声传译是否会被替代?
周明教授:长期来看,很多场合会被替代,但短期来看,其实还有很长的路要走。比如碰到的背景噪声、专业术语、容错度低(场合严谨)等技术难点,可以探讨人机结合,但是实用上目前不太好,作为技术人员,当然希望越来愈好!
个评:NLP结合CV,在未来,会有意想不到的突破点!
备注:以上对话环节的文本编辑,为博主总结,与原文稍微有异,请以原文录音为准,欢迎网友留言探讨。
现场PPT
演讲PPT
演讲的五个部分
Multi-lingual capablity
少语料翻译
Multi-model
多模态搜索
VQA:利用VQA数据集,3000个词汇表,做出预测,输出最优词汇。
VQA中,犯常识性错误案例,基于常识改进图像认知,修正VQA的结果。
图像搜索与文本搜索的结合,提高用户搜索体验。
MRC
机器阅读理解
MSRA以前的MRC框架
几个优点
个性化推荐
用户画像,知识图谱,(以前喜欢的+预测未来喜欢的),可解释性推荐(解释的推荐理由)
实现的技术
未来的技术
其实,还有文本生成等应用。
未来几个比较好的研究课题
欢迎来MSRA访问、学习!
相关文章
- [Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
- 搜索二维数组
- Everything 文件搜索神器
- Java实现 LeetCode 98 验证二叉搜索树
- 【二叉搜索树】LeetCode 96. 不同的二叉搜索树【中等】
- EasyNVR RTSP转RTMP-HLS流媒体服务器前端构建之:内部搜索功能的实现
- 算法练习之合并两个有序链表, 删除排序数组中的重复项,移除元素,实现strStr(),搜索插入位置,无重复字符的最长子串
- LeetCode-385. 迷你语法分析器【深度优先搜索,栈】
- 95. 不同的二叉搜索树 II
- 机器学习笔记 - 图像搜索的常见网络模型
- S/4HANA和CRM Fiori应用的搜索分页实现
- 具有随机分形自适应搜索策略的蚁狮优化算法-附代码
- Leetcode 搜索旋转排序数组(执行用时: 0 ms , 在所有 C++ 提交中击败了 100.00% 的用户)
- 【AI 交互式聊天】怎样实现财富自由??? 无需等待 Bing ChatGPT : 已经有一个免费自由使用的基于搜索结果响应的 AI 交互式聊天网站了!文中附 Perplexity 网站链接!
- 【Android 逆向】Android 逆向基本概念 ( 定位内存中的修改点 | 基址寻址法 | 搜索定位法 )
- 百度搜索的使用技巧
- 搜索笔记整理
- 015-elasticsearch5.4.3【五】-搜索API【四】Joining 多文档查询、GEO查询、moreLikeThisQuery、script脚本查询、span跨度查询
- BFS算法的优化 双向宽度优先搜索
- 【LeetCode】96.不同的二叉搜索树