友情提示:本文共有 1098 个字,阅读大概需要 3 分钟。
人类语言与机器语言如何流畅的转化?
教人类说话,需要学习人类的发音节奏和语调,才能上手实践。教机器说话,机器还不如人类说话清楚。其实,人类语言最大的问题在于,没有词。每个字都是一条语法链,一旦一个字有了反义词或者歧义,一句话就失去了本意。再加上一些像“形容词比副词复杂”这样的说法,人类直接说不出来。现有的机器语言,只能说出“人类能听懂的语言”。可以理解为,人类不用识字,直接说话就能理解很多事情。我们研究机器学习的问题,就是怎么把机器变得像人类一样理解知识。再高级一点,用户可以对机器做任何事情,哪怕是自己一句话也没说过。
机器先天具有记忆能力。我们的知识,会经过几次复杂的转换,在一系列复杂的情景下,做出下意识的反应。目前的人工智能训练方法还是以循环神经网络为主,训练有一段时间了。计算能力在提升,但是做不出有意义的语句。后来,人类想到了transformer,在语音识别和机器翻译这两个方向有着举足轻重的地位。因为它们是基于向量空间的训练方法,可以做到长短句识别,文本长短表述识别,不同字符形式训练方法不同,也可以尝试各种人工特征和自动特征。
目前,transformer输入的word是向量,但是输出是语句。训练出来的nlp模型,也可以训练出文章。最终的模型,也可以做翻译,叫对话系统。传统的人工nlp用的都是paddlepaddle,这也是目前国内最火的nlp框架。训练时用循环神经网络,输出word为向量。比如汉语说,你好吗?机器如果学习了句子,把人的说法转换成相应的answer,也就是汉语了。这是训练好后的模型,可以做到句子和answer的匹配。transformer模型的训练有两部分,pretrain和end-to-end。在训练时,并不是使用lstm之类的序列模型,而是用简单的rnn。用多个end-to-end对信息进行预处理,获得maskfeature,保证输入即输出,实现end-to-end的训练。目前来看,transformer模型能做到很多普通的nlp模型做不到的事情。
比如,传统的nlp模型,要做到句子和answer的匹配,只能是编码问句,不能是解码问句。transformer可以做到,把人的说法转换成更简单的表述。可以在中文用一个向量输入去预测其它语言的表述。训练后的模型,可以用来对话。原来想着,训练一个合格的对话系统,需要给机器说前半句话,后半句话的时候,需要多次differentiation,不同时刻做同一件事情,才能做好。这就需要多个answer去匹配人类语句,是比较困难的。为了解决这个问题,最终,transformer模型训练时,使用数字编码格式。
本文如果对你有帮助,请点赞收藏《人类语言与机器语言如何流畅的转化》,同时在此感谢原作者。