所有学科里面,数学是顶让人讨厌的一门。在高中阶段被数学摧残,一些人觉得到大学里学习文科,大概以后就和数学绝缘了。然而,事情并非如此。
在所有的文科里面,汉语言文学算是老资历了。下面我们以汉语言为例说一下数学的重要性。
语法!语法!
无论学习哪门语言,语法都是我们不得不面对的问题。英语自不必说,很多人自以为自己从小说汉语、听汉语,不需要学习什么语法,等到本科或研究生毕业写论文的时候,因为汉语语法问题被导师骂得狗血喷头。
说到汉语语法,很多人都听说过这样一句话:
汉语没有语法
比如,汉语语法有一条最简单的常识,大家都知道,汉语的句子结构一般是“主语+谓语动词+宾语”,例如:
我吃鸡
在这里“我”是主语,“吃”是谓语动词,“鸡”是宾语。
然而事无绝对,有人认为“鸡我吃”也符合语法,至少大家都懂什么意思。
再比如汉语里“很”一般不能修饰名词,比如:
很星星 很桌子 很馒头 很衣服
但是最近几年却流行:
很中国 很男人 很女人
这些例子似乎印证了这样一个观点,汉语确实没有那么多规矩。
事实并非如此,如果汉语真的没有语法,那么中国话就能随便说了。比如:
痕桌面齐划把他了道一
显然这句话不合语法,莫名其妙。
语法学家为汉语总结了不少语法规则,然而不行的是,和上面据的一些例子一样,很多规则都能在生活中找到例外。多年之后,很多语法学家承认,他们打算用有限的规则描写汉语语法的尝试破产了。
汉语语法如此复杂,我们是如何理解汉语的呢?数学家给了他们的答案。
一切都是概率!
弗里德里克·贾里尼克(Frederick Jelinek)认为:一个句子是否合理,就看它的可能性大小,即概率大小。
假定句子S是符合语法的,而句子是由n个特定的词构成的,我们可以把句子写成:
S=w1,w2,w3,…,wn
P(S)表示句子S在文本中出现的概率,根据条件概率公式:
P(S)=P(w1,w2,w3,…,wn)=P(w1)·P(w2|w1)·P(w3|w1,w2)…P(wn|w1,w2,w3,…,wn-1)
其中,P(wi|w1,w2,w3,…,wi-1)表示w1,w2,w3,…,wi-1出现的情况下,wi出现的概率。
举个例子:句子“我吃饭”出现的概率等于,“我”在句首出现的概率,乘以“吃”在“我”之后出现的概率,再乘以“饭”在“我”和“吃”之后出现的概率。
然而有时一个句子是很长的,计算一个词出现的概率需要考虑前面十几个词出现的情况,计算起来太麻烦。因此出现了简化的马尔科夫链。
马尔科夫(Andrey Markov)假设:
假设任一个词wi的出现的概率只同它前面的词wi-1有关。
当然,乔姆斯基(Chomsky)老爷子已经证明马尔科夫链无法生成所有自然语言,但是马尔科夫链在语言学中却很有用。
此时
P(S)=P(w1)·P(w2|w1)·P(w3|w2)…P(wn|wn-1)
这个时候,我们只需要求出P(wi|wi-1)就可以了,当然也可以再化简:
P(wi|wi-1)=P(wi-1,wi)/P(wi-1)
也就是说,我们只需要计算任意两个词相邻出现的概率,以及一个词在所有文本中出现的概率就可以了。
比如句子:
他的英语很好。
我们先计算“他”和“的”一起出现的概率,再计算“的”和“英语”一起出现的概率,再计算“英语”和“很”一起出现的概率,再计算“很”和“好”一起出现的概率,最后再分别计算“他”“的”“英语”“很”“好”出现的概率,就可以得出句子“他的英语很好”出现的概率。
一个句子出现的概率越高,说明这个句子越可能符合语法。
我们使用的智能输入法、在线翻译、语音输入的原理就是如此。