NLP 從入門到實戰(zhàn)，阿里 iDST 9 大名師即將開講

本文作者：恒亮

2017-03-22 09:39

導(dǎo)語：對自然語言處理（NLP）感興趣？加入我們吧！

在大數(shù)據(jù)計算和深度神經(jīng)網(wǎng)絡(luò)等技術(shù)的推動下，NLP 正在不斷趨于成熟，并在人們的生產(chǎn)生活中發(fā)揮著越來越重要的作用：從搜索引擎、拼寫檢查、關(guān)鍵詞提取，到文本分類、情感分析、機器翻譯和對話機器人等，幾乎隨處都能看到 NLP，隨時都能享受 NLP 帶來的便捷。

但在誕生之初，NLP 的發(fā)展其實并不順利。

業(yè)內(nèi)普遍認(rèn)可的 NLP 起源大約可以追溯到 1954 年。當(dāng)時，IBM 和喬治城大學(xué)（Georgetown University）聯(lián)合發(fā)起了一次著名試驗：Georgetown–IBM Experiment，科學(xué)家們想通過計算機自動將 60 個俄語文本翻譯成英語。當(dāng)時一個普遍認(rèn)知是：機器翻譯只是簡單的詞匯列表遍歷問題，在三到五年之內(nèi)就能完美解決。于是各研發(fā)機構(gòu)投入了大量的研發(fā)資源。

然而，事情的進展并不順利。在此后長達 30 多年的時間里，NLP 的研究成果幾乎乏善可陳。唯一值得一提的可能就是 1972 年美國麻省理工學(xué)院開發(fā)的一個用自然語言指揮機器人的人機對話系統(tǒng) SHRDLU，以及 1964-1966 年間開發(fā)的世界上第一個真正意義上的聊天機器人系統(tǒng)：ELIZA。但在當(dāng)時，SHRDLU 和 ELIZA 的語言處理能力都非常簡單，例如 SHRDLU 只存儲了 200 個單詞，而 ELIZA 所做的也僅僅是用符合語法的方式將問題復(fù)述一遍，毫無“智能”可言。

這一時期的研究者們進行自然語言處理的主要思路是按照短語結(jié)構(gòu)語法（Phrase Structure Grammar，PSG）的理論進行分析，他們認(rèn)為語法規(guī)則的數(shù)目是有限的，但據(jù)此生成的語句的數(shù)目卻是無限的，試圖通過語言學(xué)家窮舉的方法列出所有語法規(guī)則，再根據(jù)這些語法規(guī)則展開計算機的模式化分析。

這種思路有兩大致命缺陷：

● 忽略了自然語言的歧義性。例如同樣是動詞加名詞的組合，“打擊力度”就是名詞短語，但“打擊盜版”就是動詞短語；
● 語法規(guī)則實際上是無法窮舉的。人們發(fā)現(xiàn)，雖然日常對話中最長使用的語法規(guī)則只有幾十條，它們出現(xiàn)的頻率也的確很高，但隨著語料庫規(guī)模的擴大，新的規(guī)則仍然不斷出現(xiàn)。

直到 1980 年代以后，開始有學(xué)者將機器學(xué)習(xí)算法引入 NLP，從此引發(fā)了一場 NLP 的革命。

人們開始認(rèn)識到 PSG 分析法的缺陷，認(rèn)識到依靠人類語言學(xué)家人工歸納總結(jié)所有語法規(guī)則的方法走不下去。于是逐漸出現(xiàn)了依靠復(fù)雜特征集（Complex Feature Set）描述的語法約束，出現(xiàn)了依靠大數(shù)據(jù)和數(shù)理統(tǒng)計的統(tǒng)計學(xué) NLP 分析模型，以及針對統(tǒng)計模型無法處理的歧義現(xiàn)象出現(xiàn)的“詞匯主義”（Lexicalism）。研究者們認(rèn)識到在詞匯層采用顆粒度更小的語言描述單元的必要性，于是開始將自然語言描述的主體從語法規(guī)則層轉(zhuǎn)移到了詞匯層。目前，詞匯知識庫的構(gòu)建已經(jīng)成為了業(yè)界普遍關(guān)注的問題。美國的 WordNet、FrameNet 以及我國的各種語法知識庫和語義知識庫，都反映了這種強烈的“詞匯主義”的傾向。

隨著技術(shù)的不斷進步，NLP 通過不斷地從數(shù)學(xué)、生物神經(jīng)科學(xué)以及統(tǒng)計語言學(xué)等交叉學(xué)科中吸收營養(yǎng)來豐富自己，目前已經(jīng)取得了長足的進步。雖然在自然對話等一般場景中的表現(xiàn)還不盡如人意，但在一些特定領(lǐng)域，例如語音識別（微軟 / IBM 語音識別）和機器翻譯（谷歌 GNMT 機器翻譯）等細(xì)分場景中，最新的 NLP 技術(shù)已經(jīng)超越了許多普通人類的表現(xiàn)。

在這種情況下，作為一名 AI 相關(guān)領(lǐng)域的研發(fā)從業(yè)者，更有必要對 NLP 技術(shù)有一個全面的認(rèn)識和了解。為此，雷鋒網(wǎng)聯(lián)合國內(nèi)頂級 AI 培訓(xùn)平臺“1024 MOOC 學(xué)院”，有幸邀請到 9 位來自阿里巴巴 iDST 數(shù)據(jù)科學(xué)與技術(shù)實驗室的頂級專家，利用 4 月 8-9 日一個周末的時間，為大家奉上一期“NLP快速入門實戰(zhàn)特訓(xùn)班”。

NLP 從入門到實戰(zhàn)，阿里 iDST 9 大名師即將開講

如果你對人工智能了充滿熱情，如果你對 NLP 充滿了好奇心和求知欲，如果你是一個不甘心被機器超越的 AI 開發(fā)者，那么請不要猶豫，加入我們。本課程將系統(tǒng)涵蓋 NLP 技術(shù)中的分詞算法、語義理解、對話系統(tǒng)以及機器翻譯等四大版塊，重點介紹基礎(chǔ)理論與實戰(zhàn)應(yīng)用，幫助大家解決實戰(zhàn)過程中會遇到的技術(shù)難題。

課程內(nèi)容（10個課時）：

1. 詞法分析

1、中文詞法分析的基本概念和核心問題
2、基于馬爾科夫模型的中文詞法分析
3、基于序列標(biāo)注模型(CRF、LSTM)的中文詞法分析
4、詞法分析之工業(yè)界實踐

2. 意圖理解

意圖理解的基本概念
意圖理解的難點和基本方法
深度學(xué)習(xí)在意圖理解中的應(yīng)用
意圖理解在阿里產(chǎn)品中的具體實現(xiàn)

3. Slot 抽取

屬性抽取的基本概念
屬性抽取的難點和基本方法
深度學(xué)習(xí)在屬性抽取中的應(yīng)用
屬性抽取在阿里產(chǎn)品中的具體實現(xiàn)

4. 對話引擎

對話引擎的基本概念
對話的建模方法
應(yīng)用場景下對話引擎面臨的問題
對話引擎問題的一些解決思路

5. 智能問答

智能問答的基本概念和應(yīng)用場景介紹
智能問答系統(tǒng)的工作原理、系統(tǒng)框架和關(guān)鍵技術(shù)
如何搭建一套智能問答系統(tǒng)

6. 聊天引擎

聊天引擎概念和demo演示
基于檢索和基于生成的兩種聊天引擎構(gòu)建方法
工業(yè)應(yīng)用中涉及的數(shù)據(jù)、在線架構(gòu)問題以及解決思路

7. 語言模型

語言模型的基本概念
N元文法語言模型
語言模型的評價指標(biāo)
基于神經(jīng)網(wǎng)絡(luò)的語言模型建模

8. 機器翻譯

機器翻譯的基本概念
統(tǒng)計機器翻譯和神經(jīng)網(wǎng)絡(luò)機器翻譯的原理和工作機制
主要開源機器翻譯系統(tǒng)
工業(yè)級機器翻譯系統(tǒng)的主要架構(gòu)、常見問題和解決方案

9. 搜索引擎數(shù)據(jù)在NLP中的應(yīng)用

搜索引擎的基本概念。
搜索引擎數(shù)據(jù)的分類
每種數(shù)據(jù)，我們會舉例說明在NLP相關(guān)領(lǐng)域中的作用

10. 句法分析

句法分析的基本概念
依存句法分析的基本原理和方法
常見的開源句法分析系統(tǒng)介紹
句法分析在電商場景工業(yè)級應(yīng)用介紹

講師信息（排名不分先后）：

NLP 從入門到實戰(zhàn)，阿里 iDST 9 大名師即將開講

千訣
iDST資深算法專家
陳一寧
iDST高級專家
李永彬
iDST高級算法專家
郎皓
iDST算法專家
黎檳華
iDST高級算法工程師
鮑光勝
iDST算法專家
駱衛(wèi)華
iDST資深技術(shù)專家
鄭昊
iDST高級算法工程師
吳勝蘭
iDST資深算法工程師