数学之美：自然语言处理-从规则到统计

如图

语言的出现是为了人与人之间的通信。任何一种语言都是一种编码方式，而语法规则是编解码的算法。其数学本质：ta可以用某种语言解码方式得到另一个ta的表达意思。

现在，大家用的很多的。搜狗输入法的语音识别，苹果的siri等。都象征着，计算机能处理自然语言，处理语言的方式和人类的一样。

 

 

 

机器智能（规则）

图灵测试：是一种来验证机器是否能有智能的方法：让人和机器进行交流，如果无法判断自己交流是人还是机器，那就说明机器是智能。

 

就想学英语一样，语法，名词（n.），动词（v.）...很多实在的规则摆在我们面前，就想固定住的是的。人们思维也觉得合情合理，这不是天然的一种数据结构。多好的规则，多好的结构，可以让算法来描述。

这貌似计算机可以实现？

 

但事实摆在眼前，

"The pen is in the box "    "The box is in the pen"

钢笔在盒子里                     盒子在围栏里

如果运用规则处理的话，这两句话就是典型的问题。计算机无法判断，如果有人说

#我说的只是一个例子，这种例子在一种数量级上的，所以if失败

 

但自然语言的处理，并非是靠计算机理解力自然语言而完成的。事实上，靠的是数学中的统计。进而出现了统计语言学，进而才有了今天的我们手中的siri。

 

从规则到统计

统计，统计语言学。最近，学校里安排了概率论。原来概率在这块领域作用很大，问下老师一些问题。心态豁然开阔。就是统计语言模型里面涉及（下篇博客出）。关于此方面的书，我针对的去看，豆瓣会更新：http://book.douban.com/doulist/3909716/

 

我爱美丽的花

数学

p(我想要的)=p(W,Q,E,R)

然后可用，概率哦（下篇博客出），我们仔细讨论这个问题。

 

就这样，基于统计的自然语言处理方法（统计语言模型），用数学把复杂的问题简单化。

机器学习数学基础十一：方差分析 分析四个行业之间的服务质量是否有显著差异，也就是要判断“行业”对“投诉次数”是否有显著影响。如果它们的均值相等，就意味着“行业”对投诉次数是没有影响的，即它们之间的服务质量没有显著差异;如果均值不全相等，则意味着“行业”对投诉次数是有影响的，它们之间的服务质量有显著差异
机器学习数学基础十：相关分析 r的绝对值表示变量之间的密切程度(即强度)。绝对值越接近1，表示两个变量之间关系越密切;越接近0，表示两个变量之间关系越不密切
机器学习数学基础八：假设检验 一个公司要来招聘了，本来实际有200个人准备混一 -混， 但是公司希望只有5%的人是浑水摸鱼进来的，所以可能会有200*0.05=4个人混进来，所谓显著性水平a，就是你允许最多有多大比例浑水摸鱼的通过你的测试。
全都会！预测蛋白质标注！创建讲义！解释数学公式！最懂科学的智能NLP模型Galactica尝鲜 ⛵ 本文浅试Meta开源的大型AI语言模型『Galactica』，带大家体验安装与多场景使用。Galactica被称为“最懂科学的智能NLP模型”，能够预测蛋白质标注！创建讲义！解释数学公式！全都会！
数学优化和机器学习结合使用的四种方法简介 数学优化(或数学规划)是一个强大的决策工具。通过制定目标并指定约束条件和变量，数学优化可以帮助在当前现实环境下做出最佳决策。它已经在航空、物流、电力和金融等许多不同行业证明了其价值。
二哥聊RPA 公号「二哥聊RPA」。关注我，一起洞察 RPA ◎ RPA创业者 ◎ 现明堂红木商业顾问，为十月结晶、可啦啦、鑫蜂维等多家企业提供 RPA 咨询服务 ◎ 希望帮助大家在 RPA 上做一些力所能及的事情