pp电子(中国游)官方在线平台

利用NPL可与人工智能工具进行交流

现如今，在更多情况下，我们是（shì）以比特和字节为生，而不（bú）是依靠交换情感。我（wǒ）们使用一种（zhǒng）称之为计算机的（de）超级（jí）智能机器（qì）在互联网（wǎng）上进行交易（yì）和（hé）沟通（tōng）。因此，我们觉得（dé）有必要让机器明白（bái）我们在说话时是如何对（duì）其进行理解（jiě）的（de），并且（qiě）试图用（yòng）人（rén）工智能，一（yī）种称之为NLP——自然语言处理技术为它们提（tí）供语言。作为（wéi）一种（zhǒng）研究结果，聊天（tiān）机器人正在成为一种可靠的聊天工（gōng）具（jù），使用这种非人为依赖（lài）的（de）智能工具与（yǔ）人类进行交流。

我（wǒ）强烈的感受到（dào）：

直到（dào）我们的机器学（xué）会了解（jiě）行为和情绪，数据科学家和工程师（shī）的工作才完成了一半。与深度学习（ML学科领域（yù））融合的NLP将（jiāng）对这（zhè）种（zhǒng）计（jì）算机语言的使用起到（dào）关键（jiàn）作用。

利用NPL可与人工智能工具进行交流（liú）

利用自（zì）然语言处理（lǐ）NPL可以（yǐ）使人工智能（néng）工具与人类进行（háng）交（jiāo）流

什么是NLP

这是一种人工智能方法，给定机器一些人类（lèi）语言从而使得（dé）它们能（néng）够与（yǔ）人类进行（háng）沟通交流（liú）。它涉及使（shǐ）用NLP技术对（duì）书面（miàn）语言（yán）进行智能（néng）分析，以获取对一组文本（běn）数据的见（jiàn）解，如：

1.情绪分析（xī）

2.信息提（tí）取和检索

3.智能搜索等

它（tā）是（shì）人工（gōng）智能和计算语言学的交汇（huì）点，能够（gòu）处（chù）理（lǐ）机器和人类自然（rán）语言之间的交互，即计算机（jī）需要对其进行分析、理解、改变或（huò）生（shēng）成自然语言。NLP帮助计算（suàn）机机器以各种形式使用自然人类（lèi）语（yǔ）言进行交流，包括但（dàn）不限于语音、印刷、写作和（hé）签名。

NLP机器学（xué）习（xí）和深度学习：它（tā）们是如何连接的

利用NPL可与人工智能工（gōng）具进行交流

利用自然（rán）语（yǔ）言处理NPL可以使人工智（zhì）能工（gōng）具（jù）与人类进行交流

NLP与机器（qì）学（xué）习和深度学（xué）习（xí）密切相关，所有这些都是（shì）人工智能领域（yù）的分支，如下图（tú）所示：它是一（yī）个致力于（yú）使（shǐ）机器智能化的计算机（jī）科学领域。深（shēn）度学习（xí）是一种流（liú）行的机器学习技术之（zhī）一（yī），如（rú）回（huí）归（guī），K-means等。

机（jī）器学习的类（lèi）型很多，像无监督机器（qì）学（xué）习这（zhè）样的经常用于NLP技术中，如LDA（潜在狄利克雷分布（bù），一种（zhǒng）主题模型（xíng）算法）。

为（wéi）了能够执行（háng）任何一个（gè）NLP，我们需要深入理解人类使如何处理语言的（de）情感和（hé）分析方面。还有各种各样像（xiàng）社交媒体这样的语言（yán）数据（jù）源，人们直接或间接（jiē）地分享（xiǎng）他（tā）们感受到的内容，而（ér）这必须通（tōng）过使用（yòng）NLP的机器进行智能分析。NLP机（jī）器（qì）需（xū）要建立一个人类推理系统（tǒng），借助ML技（jì）术，它们可以自动执行NLP过程并（bìng）对（duì）其进行扩展。

简而言之（zhī），“深度学习与自然（rán）语（yǔ）言处理”是相互联系、相互（hù）依存的（de），以（yǐ）构建一个能（néng）够（gòu）像人类一样思考（kǎo）、说话和行动的智（zhì）能计算机。

Meltwater Group的NLP专家John Rehling在《自然（rán）语言处（chù）理是如何帮助揭（jiē）示（shì）社交媒（méi）体情（qíng）绪》一文中（zhōng）说，

“通过分析语言（yán）的含（hán）义，NLP系（xì）统扮演着（zhe）非常重要的角色（sè），如纠正语（yǔ）法，将语音转换为文本，以及在（zài）多（duō）语言之间自动翻译（yì）。”

NLP如（rú）何工作

理解NLP的工作原理是非常重要的（de），因为这样（yàng）的话，我们就可（kě）以将NLP作为一个整体来理解。NLP一般有两个主要组成部分：

1.NLU：自然语言（yán）理解

2.NLG：自然语（yǔ）言生成

让我们深入理解NLU

自然语言理解（jiě）：它涉及的是一种方法论，试图了解如何对馈（kuì）送给计算机的自然语（yǔ）言赋予一定的相关意义。

在开（kāi）始时，计算机获得自然语言的（de）输入（rù）（自然语言可以是任何语言（yán），它们通过使用（yòng）和重复在人类中自然进（jìn）化（huà），而不是有意识的计（jì）划或预谋，自然语（yǔ）言可以（yǐ）采用（yòng）不同的形式，例（lì）如（rú）语音或签名）。

计（jì）算机之后将它们转换成人工（gōng）语（yǔ）言，如（rú）语（yǔ）音识（shí）别和/或语音转（zhuǎn）换文本。在这里我们把（bǎ）数据转换成一个文本形式（shì）， NLU过程来理解其中的含（hán）义。

HMM：隐（yǐn）马（mǎ）尔可夫模（mó）型（NLU示例）

利（lì）用（yòng）NPL可与人（rén）工（gōng）智能工具进（jìn）行交流（liú）

利用自然语言处理NPL可以使人工智能工具（jù）与人（rén）类进行交（jiāo）流

它是一种统计（jì）语音识别模型，它可以在预先构建的数学技（jì）术的帮助下，将你的（de）语音转换成（chéng）文本，并（bìng）试图推断（duàn）出你（nǐ）所说的语言。

它试图理解（jiě）你所说（shuō）的，通过将语音数据分解成一小段特定（dìng）的（de）时（shí）间（jiān）段，大（dà）多（duō）数情况（kuàng）下时间是20-20 ms。这些数据（jù）集将进一步（bù）与预馈语（yǔ）音进行（háng）比较，从而进一（yī）步解读你在每个语音（yīn）单位中所说的内容。这里的目的是找（zhǎo）到音素（一个最小的语（yǔ）音单位）。然（rán）后，机器对（duì）一系列这样的音素进行观察，并统计了（le）最可能说出的单词和句（jù）子。

不仅如此，NLU会深刻理解每个单词，试图理解它是一个名词还是动词，什么是时（shí）态（过（guò）去（qù）或未来）等（děng）。这个（gè）过程被定义为POS：词（cí）性标注部（bù）分（Part Of Speech Tagging）。NLP具有内置的词典和一套与语（yǔ）法预编码相关的协议，这些协（xié）议被（bèi）预编（biān）码到（dào）它们的系统中，并在处理自然语言（yán）数据集（jí）时使（shǐ）用它，从而（ér）在NLP系统（tǒng）处理人类语（yǔ）音时，编译所说的内容。

NLP系（xì）统也有一个词典（词汇表（biǎo））和一（yī）套编码到系统中的语法规则。现代NLP算法使用统计机器（qì），学（xué）习将（jiāng）这（zhè）些规（guī）则应（yīng）用于自然语言，并推（tuī）断所说话（huà）语背后（hòu）最（zuì）可（kě）能（néng）的含（hán）义（yì）。在考虑诸如具有多个含义的词语（多义词）或具有相似含义的词语（同义（yì）词）时，存在一些挑战，但软（ruǎn）件开发者在他们（men）的NLU系统中建立了自己的（de）规则，可以通（tōng）过适当的训练和学（xué）习来处理这类问题。

自然语言生成：

与第（dì）一阶段（NLU做（zuò）了大量的努力以理解（jiě）人类的话语）相比，NLG可以很（hěn）容（róng）易的进（jìn）行翻（fān）译（yì）工作，即将计算机的人工语言翻译为有意义的文（wén）本，并（bìng）可以（yǐ）通过文字转语（yǔ）音（yīn）（tex-to-speech）技术（shù）将其（qí）转（zhuǎn）化为可听语（yǔ）音。文本转（zhuǎn）语音（（tex-to-speech））技术通过（guò）韵律模型（xíng）（prosody model）来分（fèn）析文（wén）本，从而确定语（yǔ）言的（de）断句（jù）、长短和音调（diào）。然后，利用语音数（shù）据库（kù），将记录的所（suǒ）有（yǒu）音素汇集在一起，形成（chéng）一个连贯的语音（yīn）串。

简（jiǎn）而言之，NLP采（cǎi）用（yòng）NLU和NLG来处理（lǐ）人类自（zì）然语言（yán），尤其是处理（lǐ）语音识别领域的人类自然语言，并试图将传递字符串或可听语言（yán）作为输出，来理（lǐ）解、编译并推断所说的内容。

NLP在现代语（yǔ）境（jìng）中的应用：

在这个处于（yú）数字革命的电脑时代中，大部分（fèn）任（rèn）务需要由（yóu）人类利用链接物联网的机器（qì）来完成。NLP在为媒（méi）体、出版、广告、医疗、银行和保险等行业领域建立强大的软（ruǎn）件工具方面（miàn），发挥（huī）了重要（yào）作（zuò）用，从（cóng）而帮助他们高效快捷地运作。

NLP的一些现（xiàn）代用法：

1.聊天机器（qì）人

这是（shì）一个被称为机器（qì）人的成熟（shú）软（ruǎn）件，它可以处理任何（hé）场景的（de）人物对话（huà）。api.ai、微软语（yǔ）音理解智能服（fú）务（LUIS）等一些（xiē）热门的（de）NLP和机器学习平台，可用（yòng）于（yú）研发（fā）你的商业聊天（tiān）机器人。

利用NPL可与人工智能工具进（jìn）行交（jiāo）流（liú）

2.垃圾邮件（jiàn）过（guò）滤

利用NPL可与人工智能工具（jù）进（jìn）行交流（liú）

你们中（zhōng）的大多（duō）数人一定对垃圾邮件并（bìng）不（bú）陌生（shēng）。Google使用基于NLP的技术（shù）来保（bǎo）障你的（de）收件箱（xiāng）清洁、无（wú）垃圾邮件。贝叶斯垃圾邮件过滤（Bayesian spam filtering）是一种备（bèi）受瞩目的技术（shù），它是一种统计技术，基于（yú）此，电（diàn）子邮件中词语的审核（hé）通过率（lǜ）根据其在垃圾和非（fēi）垃圾邮件语（yǔ）料库（kù）中的典型事例来确定。

3.机器（qì）翻译

NLP被（bèi）越来越多的应用于机（jī）器翻译程序（xù）当（dāng）中，这使得一种（zhǒng）语言被自动（dòng）翻译（yì）成另一种语言，谷歌（gē）是一个将你的文本翻译为所需（xū）语（yǔ）言的先（xiān）驱者。

机器翻译技术（shù）所面临的挑战不在于翻译单词，而在于保留句子（zǐ）的含义（yì），这是一个复杂的（de）技（jì）术（shù）问题，也是NLP的（de）核心。

4.命名实体提取（Named entity extraction）

它用于从给定（dìng）的项目（mù）集合中分离出具有相似性质和（hé）属性的项目（mù）。例如名字、姓氏、年（nián）龄、地理位置、地址、电话号码、电子邮件地址和公（gōng）司名（míng）称等（děng）等。命名实体提取（亦称命名（míng）实（shí）体识别）使挖掘数据变得更加容（róng）易。

5.自动汇总（zǒng）

自（zì）然语言处理可用于从大段文本中提取（qǔ）可（kě）读摘要（yào）。例如，我们可以自动总结出一（yī）份长篇学术文章（zhāng）的简短摘（zhāi）要（yào）。

接（jiē）下来我们将（jiāng）深入介（jiè）绍（shào）一些NLP的技术（shù）细节。

当自然（rán）界与人工相逢的时（shí）候，机器就像是一（yī）个（gè）真正具有（yǒu）生（shēng）命力的人类一样进（jìn）入了生活中。

NLP技术（shù）术语

NLP术语

•语音体系——关于系统性（xìng）地组织语音的研究。

•形态学——这（zhè）是一个从基（jī）本意义（yì）单（dān）位中进行单词构建的研究。

•语（yǔ）素——语言中意（yì）义的（de）基本单位（wèi）。

•语法（fǎ）——它是指单词（cí）经过（guò）组合排列构成句子（zǐ），它还（hái）涉及在句子和短语中确定单（dān）词结构（gòu）的作用。

•语（yǔ）义——它涉及的是单词的含义，以及该如何将单词组合成有意义的短语和句子。

•语（yǔ）用学——它涉及的是（shì）在（zài）不同（tóng）情况下使（shǐ）用和（hé）理（lǐ）解句子（zǐ）以（yǐ）及（jí）对句子的解释是如何受到影响的。