NLP 與 NLU：從語言理解到語言處理

本文作者： AI研習社-譯站

2019-05-30 16:59

導語：隨著人工智能的進步，相關技術變得越來越復雜，我們希望現(xiàn)有的概念能夠包容這種變化 - 或者改變自己。

本文為 AI 研習社編譯的技術博客，原標題：
NLP vs. NLU: from Understanding a Language to Its Processing
作者 | Sciforce
翻譯 | 蘿卜菜在種樹編輯 | 王立魚
原文鏈接：
https://medium.com/sciforce/nlp-vs-nlu-from-understanding-a-language-to-its-processing-1bf1f62453c1

NLP 與 NLU：從語言理解到語言處理

隨著人工智能的進步，相關技術變得越來越復雜，我們希望現(xiàn)有的概念能夠包容這種變化 - 或者改變自己。同理，在自然語言處理領域中，自然語言處理（NLP）的概念是否會讓位于自然語言理解（NLU）？或者兩個概念之間的關系是否變得更微妙，更復雜，抑或只是技術的發(fā)展？

在這篇文章中，我們將仔細研究NLP和NLU的概念以及它們在AI相關技術中的優(yōu)勢。

值得注意的是，NLP和NLU盡管有時可以互相交換使用，但它們實際上是兩個有一些重疊的不同概念。首先，他們都用來處理自然語言和人工智能之間的關系。他們都試圖理解類似于語言之類的非結構化數(shù)據(jù)，而不是像統(tǒng)計，行為等結構化數(shù)據(jù)。然而，NLP和NLU是許多其他數(shù)據(jù)挖掘技術的對立面。

NLP 與 NLU：從語言理解到語言處理

來源: https://nlp.stanford.edu/~wcmac/papers/20140716-UNLU.pdf

自然語言處理

NLP是一個已經(jīng)很成熟，已有數(shù)十年歷史的領域。在計算機科學、人工智能、數(shù)據(jù)挖掘等領域進行交叉。NLP的最終目的是通過機器讀取、解讀、理解和感知人類語言，將某些任務用機器來代替人類來處理，包括在線聊天機器人，文本摘要生成器，自動生成的關鍵字選項卡，以及分析文本情緒的工具。

NLP的作用

NLP在廣義上來說可以指廣泛的工具，例如語音識別、自然語言識別和自然語言生成。然而，在歷史上，NLP常用于：

符號化
解析
信息提取
相似度
語音識別
自然語言和語音生成等等

在現(xiàn)實生活中，NLP用于文本摘要、情感分析、主題提取、命名實體識別、詞性標注、關系提取、詞干提取、文本挖掘、機器翻譯、自動問答、本體論、語言建模和我們可以想到的所有與語言相關的任務。

NLP技術

NLP的兩個支柱是句法分析和語義分析。

總結：NLP依靠機器學習通過分析文本語義和語法從人類語言中獲得意義。

自然語言理解（NLU）

NLP可以追溯到20世紀50年代計算機程序員開始嘗試簡單的語言輸入。NLU在20世紀60年代開始發(fā)展，希望讓計算機能夠理解更復雜的語言輸入。NLU被認為是NLP的一個子方向，主要側重于機器閱讀理解：讓計算機理解文本的真正含義。

NLU實際上做了什么

與NLP類似，NLU使用算法將人類語音轉化為結構化本體。然后使用AI算法檢測意圖，時間，位置和情緒等。但是，當我們查看NLU任務時，我們會驚訝地發(fā)現(xiàn)這建立了多少NLP概念：

NLP 與 NLU：從語言理解到語言處理

NLU任務

自然語言理解是許多過程的第一步，例如分類文本，收集新聞，歸檔單個文本，以及更大規(guī)模地分析內(nèi)容。NLU的實際例子包括從基于理解文本發(fā)布短命令到小程度的小任務，例如基于基本語法和適當大小的詞典將電子郵件重新發(fā)送到合適的人。更為復雜的行為可能是完全理解詩歌或小說中的新聞文章或隱含意義。

總而言之：最好將NLU視為實現(xiàn)NLP的第一步：在機器處理語言之前，必須首先理解它。

NLP和NLU的相關性

從其任務可以看出，NLU是NLP的組成部分，它負責人類理解某個文本所呈現(xiàn)的含義。與NLP最大的區(qū)別之一是NLU超越了解單詞，因為它試圖解釋和處理常見的人類錯誤，如錯誤發(fā)音或字母或單詞的顛倒。

推動NLP的理論是Noam Chomsky在1957年的“句法結構”中所設定的假設：“語言L的語言分析的基本目標是將L的句子的語法序列與不符合語法的序列分開。這不是研究語言L的句子，而是研究語法序列的結構。”

句法分析確實用于多個任務，通過將語法規(guī)則應用于一組單詞并通過多種技術從中獲得意義來評估語言如何與語法規(guī)則保持一致：

詞形還原：將單詞的變形形式簡化為單一形式，以便于分析。
詞干：將變形的詞語切割成它們的根形式。
形態(tài)分割：將單詞劃分為語素。
分詞：將連續(xù)文本分成不同的單元。
解析：句子的語法分析。
詞性標注：識別每個單詞的詞性。
句子破壞：將句子邊界放在連續(xù)文本上。

NLP 與 NLU：從語言理解到語言處理

句法分析技術介紹

然而，語法正確性或不正確性并不總是與短語的有效性相關。想想一個無意義而又語法化的句子“colorless green ideas sleep furiously”的經(jīng)典例子。更重要的是，在現(xiàn)實生活中，有意義的句子通常包含輕微的錯誤，并且可以被歸類為不符合語法的。人工交互允許產(chǎn)生的文本和語音中的錯誤通過優(yōu)秀的模式識別和從上下文中添加附加信息來補償它們。這顯示了以語法為中心的分析的不平衡性以及需要更加關注多級語義。

語義分析是NLU的核心，涉及應用計算機算法來理解單詞的含義和解釋，尚未完全解決。

以下是語義分析中的一些技巧，僅舉幾例：

命名實體識別（NER）：確定可以識別并分類為預設組的文本部分。
詞義消歧：根據(jù)語境賦予詞語意義。
自然語言生成：使用數(shù)據(jù)庫導出語義意圖并將其轉換為人類語言。

然而，為了完全理解自然語言，機器不僅需要考慮語義提供的字面意義，還需要考慮預期的信息，或理解文本試圖表達的內(nèi)容。這個級別稱為語用分析（pragmatic analysis），它剛剛開始引入NLU / NLP技術。目前，我們可以在一定程度上看到情緒分析：評估文本中包含的消極/積極/中立的感受。