0
雷鋒網(wǎng) AI 科技評論按：本文是 Alex Honchar 在 Medium 上發(fā)布的三篇系列博客之二。這三篇博客分別從 AI 研究者、產(chǎn)業(yè)界的應(yīng)用開發(fā)人員、普通人的角度介紹了作者對于 2018 年人工智能發(fā)展趨勢的看法。雷鋒網(wǎng) AI 科技評論對原文進(jìn)行了編譯。
在第一篇 AI 研究趨勢的文章中我嘗試介紹了 2018 年人工智能研究領(lǐng)域中可能發(fā)生重要發(fā)展的方向。盡管做人工智能的理論研究很酷，但是也存在一些具體的 AI 技術(shù)，它們在 2017 年已經(jīng)成熟并且將有可能在 2018 年得到大規(guī)模的商業(yè)應(yīng)用。這也正是本文所要探討的內(nèi)容——我將向你介紹一些技術(shù)，這些技術(shù)也許可以應(yīng)用到你當(dāng)前的工作中，或者用于構(gòu)建自己的初創(chuàng)項目。
重要提示：本文給出了一份 AI 領(lǐng)域算法或技術(shù)的盤點，它們已經(jīng)相當(dāng)成熟，這意味著可以直接使用。例如，你可以在盤點中看到時間序列分析（Time series analysis），因為深度學(xué)習(xí)正在信號處理領(lǐng)域迅速替代傳統(tǒng)的優(yōu)秀方法。但是在這份盤點中，你看不到強(qiáng)化學(xué)習(xí)（Reinforcement learning），盡管強(qiáng)化學(xué)習(xí)也許更加好玩，但是在我看來，它當(dāng)前還不夠成熟，不足以應(yīng)用到商業(yè)開發(fā)中去。但是強(qiáng)化學(xué)習(xí)確實是一個令人驚嘆、日新月異的研究領(lǐng)域。
再次提醒一下，這是三篇系列文章的其中一篇，在這個系列文章中我嘗試從三個不同的角度分享我對人工智能在未來一年發(fā)展趨勢的看法：
AI 開發(fā)者，負(fù)責(zé)將 AI 算法落實到商業(yè)場景中
生活在這個 AI 新時代的普通大眾
希望各位讀者能找到自己喜歡的內(nèi)容，并且有所收獲！
PS：在本文我不介紹圖像識別和一些簡單的計算視覺問題，畢竟這塊已經(jīng)發(fā)展好幾年了。
雖然生成對抗網(wǎng)絡(luò)（Generative adversarial networks, GANs）已經(jīng)被提出來好幾年了，我依然對它非常懷疑。并且盡管生成對抗網(wǎng)絡(luò)已經(jīng)在 64x64 分辨率的圖像上取得了巨大的進(jìn)步卻依然無法打消我的疑慮。然后在我閱讀了相關(guān)的數(shù)學(xué)文章之后，我更加懷疑生成對抗網(wǎng)絡(luò)事實上并沒有學(xué)習(xí)到數(shù)據(jù)分布。但是這一點在今年有所改觀，首先是新穎有趣的架構(gòu)（如 CycleGAN）的提出和理論性的提升（Wasserstein GAN）促使我在實踐中嘗試了生成對抗網(wǎng)絡(luò)，然后它們的效果也還可以。另外在兩次應(yīng)用過生成對抗網(wǎng)絡(luò)之后，我開始被它深深折服，并且開始堅信我們必須使用生成對抗網(wǎng)絡(luò)進(jìn)行對象生成。
首先，我非常喜歡英偉達(dá)的關(guān)于生成真實逼真的全高清圖像的研究論文（前一年僅能實現(xiàn) 64x64 的圖像生成）：
但是我真正喜歡的（作為一個騷年的完美夢想應(yīng)用程序），并且讓我留下深刻印象的是生成假的色情電影：
我也看到了生成對抗網(wǎng)絡(luò)在很多游戲行業(yè)中的應(yīng)用。比如用 GAN 生成景觀、英雄乃至整個世界。而且我認(rèn)為生成對抗網(wǎng)絡(luò)造假的能力將越來越強(qiáng)。
現(xiàn)代發(fā)展（不只是 AI 領(lǐng)域）的一個重要問題是，我們往往可以擁有幾十個不同的框架來做同一件事情?，F(xiàn)今，每個進(jìn)行機(jī)器學(xué)習(xí)研究的大公司都必須擁有自己的框架：谷歌、Facebook、亞馬遜、微軟、英特爾，甚至是索尼和優(yōu)步以及許多的其它開源方案！在單個 AI 應(yīng)用中我們會希望采用不同的框架，比如計算機(jī)視覺問題采用 Caffe2，NLP 采用 PyTorch，推薦系統(tǒng)采用 TensorFlow/Keras。然而接下來將這些模塊合并卻需要花費大量的開發(fā)時間，這使得數(shù)據(jù)科學(xué)家和軟件開發(fā)人員無法將注意力集中于更重要的任務(wù)中。
該解決方案必須是一個統(tǒng)一的神經(jīng)網(wǎng)絡(luò)格式，它可以輕易地從任意框架中獲得，然后開發(fā)人員可以輕易實現(xiàn)部署，科學(xué)家可以輕易上手使用。而這就是 ONNX：
事實上，它只是非循環(huán)計算圖（Acyclic computational graphs）的簡單格式，但在實踐中它給我們提供了部署復(fù)雜 AI 應(yīng)用方案的機(jī)會。而且我個人發(fā)現(xiàn)它非常有吸引力的一點是——人們可以在那些沒有強(qiáng)大部署工具和不依賴于 TensorFlow 生態(tài)系統(tǒng)的框架中進(jìn)行開發(fā)，比如 PyTorch。
三年前，人工智能領(lǐng)域最令人興奮的事情是 Caffe 的模型庫（Caffe Zoo）。當(dāng)時我正在從事與計算機(jī)視覺有關(guān)的工作，我當(dāng)時嘗試了所有的模型，并且逐一檢查了它們的工作機(jī)制以及運行效果。之后我使用這些模型進(jìn)行實現(xiàn)遷移學(xué)習(xí)（Transfer learning）或者用于特征提取。最近我使用了兩種不同的開源模型，作為一個大型計算機(jī)視覺任務(wù)的數(shù)據(jù)流處理管道的一部分。這意味著什么呢？這意味著實際上我們沒必要去訓(xùn)練自己的網(wǎng)絡(luò)模型，例如，對 ImageNet 對象識別或者地點識別，這些基礎(chǔ)的東西能夠直接下載并添加到你的系統(tǒng)中去。除了 Caffe 模型庫，其它的框架也有著類似的模型庫。但是讓我最吃驚的是，你可以直接將計算機(jī)視覺、NLP 甚至是加速度計信號處理模型插入到 iPhone 中：
我認(rèn)為這些模型庫將越來越多，并且會出現(xiàn)像 ONNX 這樣的生態(tài)系統(tǒng)，然后這些模型也將更加集中（也會使用 ML 區(qū)塊鏈應(yīng)用來去中心化）。
設(shè)計一個神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)是一個痛苦的任務(wù)——有時你可以通過簡單地堆疊卷積層得到相當(dāng)好的結(jié)果，但是大多數(shù)時候，你需要憑借經(jīng)驗和超參數(shù)搜索方法（例如，隨機(jī)搜索或貝葉斯優(yōu)化）非常仔細(xì)地設(shè)計網(wǎng)絡(luò)的寬度、深度和超參數(shù)。特別是當(dāng)你不在計算機(jī)視覺領(lǐng)域開展研究時，你可以微調(diào)一些在 ImageNet 上訓(xùn)練的 DenseNet。但是對于 3D 數(shù)據(jù)分類或者多變量時間序列應(yīng)用則不行。
有許多人嘗試過使用一個神經(jīng)網(wǎng)絡(luò)從頭開始創(chuàng)建另一個神經(jīng)網(wǎng)絡(luò)架構(gòu)，但是對我而言，最好的也是最便捷的是 Google Research 的 AutoML：
他們用 AutoML 來生成的計算機(jī)視覺模型，比人類手工設(shè)計的網(wǎng)絡(luò)還要更快和更好。我相信很快就會有很多關(guān)于這個話題的論文和開源代碼了。
對于這個概念，我在 Anatoly Levenchuk 的博客上看到了很多。Anatoly Levenchuk 是一名來自俄羅斯的系統(tǒng)分析師、教練和 AI 愛好者。在下面的圖片中，你可以看到一個被稱為 “AI ?！钡睦樱?/p>
它不僅僅包含有機(jī)器學(xué)習(xí)算法和你最喜歡的框架，而且也深入更底層中，并且每個層面都有自己的發(fā)展和研究。
我認(rèn)為人工智能開發(fā)行業(yè)已經(jīng)擁有了足夠多的不同專家，而且已經(jīng)足夠成熟。在你的團(tuán)隊中只有一名數(shù)據(jù)科學(xué)家是遠(yuǎn)遠(yuǎn)不夠的——你需要不同的人員，分別負(fù)責(zé)硬件優(yōu)化、神經(jīng)網(wǎng)絡(luò)研究、AI 編譯器、解決方案最優(yōu)化和生產(chǎn)實施。在他們之上必須有不同的團(tuán)隊領(lǐng)導(dǎo)、軟件架構(gòu)師（必須為每個問題單獨設(shè)計上面的堆）和管理者。我已經(jīng)提到了這個概念，希望在 AI 領(lǐng)域的技術(shù)專家能夠在未來成長（對于那些想要成為 AI 或者技術(shù)領(lǐng)導(dǎo)者的軟件架構(gòu)師——你需要知道學(xué)習(xí)路線）的某種愿景。
目前來說人工智能所能解決的精度能達(dá)到 95% 以上的問題非常少：我們可以將圖像分成 1000 個類別；我們可以判斷文本中的情緒是正面的還是負(fù)面的；其實我們還可以做一些更加復(fù)雜的事情。我認(rèn)為還有一個領(lǐng)域即將迎來商業(yè)應(yīng)用的爆發(fā)，那就是語音識別和生成。事實上，在 DeepMind 的 WaveNet 發(fā)布之后的一年內(nèi)，WaveNet 都還算不錯，不過由于最近百度的 DeepVoice 和 Google Tacotron2 的提出，我們在這塊走的更遠(yuǎn)了：
這個技術(shù)很快就會在開源社區(qū)中進(jìn)行公布（或者被一些聰明人所復(fù)制），并且每個人都能夠以非常高的精度識別語音并生成它。它能在哪里派上用場呢？我們將得到更好的私人助理、自動電子書閱讀器、談判記錄器（Negotiation transcripters）以及聲音造假。
我們今天所看到的機(jī)器人都有一個很大的問題——其中 99% 根本不是人工智能，它們只是硬編碼。這就是為什么 Facebook Messenger 或 Telegram 中的大部分機(jī)器人都采用硬編碼的命令，或者最好情況也是采用了一些基于 LSTM 和 word2vec 技術(shù)的神經(jīng)網(wǎng)絡(luò)句子分類器。但是現(xiàn)代最先進(jìn)的 NLP 技術(shù)可不止這樣。來看看 Salesforce 做了哪些有趣的研究工作：
他們正在構(gòu)建 NLP 與數(shù)據(jù)庫的接口，克服現(xiàn)代編碼器-解碼器自動回歸模型，不僅能為單詞或句子訓(xùn)練嵌入向量，而且還能給字符訓(xùn)練向量。此外，還有一個有趣的研究是關(guān)于使用強(qiáng)化學(xué)習(xí)將 NLP 得分作為 ROUGE 進(jìn)行最優(yōu)化。
我相信隨著這些技術(shù)的發(fā)展，我們可以通過更多的智能信息檢索（Intelligent information retrieval）和命名實體（Named entity）來提高機(jī)器人。甚至在一些封閉域的垂直應(yīng)用中可能出現(xiàn)完全由深度學(xué)習(xí)驅(qū)動的機(jī)器人。
在 Salesforce 之后的第二個被低估的公共機(jī)器學(xué)習(xí)研究實驗室是 Uber AI Labs。前端時間，他們發(fā)表了一篇博客，展示了他們對時間序列預(yù)測的方法。說實話這讓我感到受寵若驚，因為我在應(yīng)用程序中使用了基本相同的方法！這是將統(tǒng)計特征和深度學(xué)習(xí)表征相結(jié)合的驚人例子：
我最近從事的是基于深度學(xué)習(xí)的時間序列分析，我已經(jīng)親自驗證了這個神經(jīng)網(wǎng)絡(luò)效果非常好，與“黃金標(biāo)準(zhǔn)（Golden standards）”相比，你可以輕易獲得 5-10 倍的性能增長。
我們要如何訓(xùn)練我們的神經(jīng)網(wǎng)絡(luò)？說實話，大多數(shù)人只是使用“Adam()”優(yōu)化函數(shù)和標(biāo)準(zhǔn)的學(xué)習(xí)率。而一些聰明的人會選擇最合適的優(yōu)化器，并調(diào)整合適的學(xué)習(xí)率。由于訓(xùn)練優(yōu)化的時候我們只需要按下“訓(xùn)練”按鈕，然后等待網(wǎng)絡(luò)收斂，因此這導(dǎo)致人們往往低估了優(yōu)化中的學(xué)問。但是在擁有同等計算力資源、內(nèi)存和開源代碼解決方案的時候，能夠在最短時間內(nèi)優(yōu)化訓(xùn)練模型的人將勝出。這有一篇 2017 年優(yōu)化算法的改進(jìn)盤點。
我鼓勵大家看看上面的 Sebastian 的 Ruder 博客，該博客介紹了 2017 年最新的一些關(guān)于如何確定優(yōu)化算法，以及其他一些非常有用的簡單改進(jìn)。
這張照片能告訴我們什么呢？特別是在已經(jīng)閱讀了這篇文章前幾點之后?？紤]到目前已經(jīng)出現(xiàn)了這么多開源的工具以及算法，要開發(fā)出一些新的有價值的東西并且還要從中賺取很多錢并不容易。我認(rèn)為 2018 年對于像 Prisma 這樣的創(chuàng)業(yè)公司來說不是最好的一年——因為可能會出現(xiàn)很多競爭對手，他們可以把開源項目作為移動應(yīng)用進(jìn)行部署，從而開始創(chuàng)業(yè)。
今年我們必須專注于基本的事情，而不是掙快錢——即使我們打算使用谷歌的 Ratacon 服務(wù)來實現(xiàn)有聲讀物的語音識別，我們也不能單純地將它作為一個簡單的網(wǎng)絡(luò)服務(wù)器，而是要想清楚業(yè)務(wù)模式、合作伙伴以獲得一些投資。
最后再總結(jié)一下，我們有幾種技術(shù)可以用于實際產(chǎn)品落地：時間序列分析、GANs、語音識別。我們不應(yīng)該再為分類或者回歸設(shè)計基本架構(gòu)了，因為 AutoML 將會為我們實現(xiàn)這個。我希望借助一些優(yōu)化上的提高，AutoML 將運行得比以前更快。然后有了 ONNX 和模型庫之后我們將能夠通過兩行代碼就實現(xiàn)將模型插入到應(yīng)用中去。我認(rèn)為制作基于 AI 的應(yīng)用程序在當(dāng)前來說是非常容易的，這對于整個工業(yè)界而言也是福音。而想知道新一年里人工智能研究領(lǐng)域會如何發(fā)展請看我前一篇文章。
Via AI in 2018 for developers，雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
2018 年最值得期待的學(xué)術(shù)進(jìn)展——致人工智能研究者們的年終總結(jié)
2017年里，哪十篇 arXiv 機(jī)器學(xué)習(xí)論文在 Twitter 上最熱門？
2017年度好視頻，吳恩達(dá)、李飛飛、Hinton、OpenAI、NIPS、CVPR、CS231n全都在
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
