0
雷鋒網(wǎng) AI 科技評(píng)論按：年終總結(jié)可能會(huì)遲到，但不會(huì)缺席！
圣誕節(jié)+元旦假期過(guò)后，谷歌資深 Fellow、谷歌 AI 負(fù)責(zé)人 Jeff Dean 代表所有谷歌的研究部門(mén)發(fā)出了他們的 2018 年度科研研究年終總結(jié)。這一年，谷歌的科研人員們?cè)谌斯ぶ悄?、量子?jì)算、計(jì)算圖形學(xué)、算法理論、軟件系統(tǒng)、TPU、開(kāi)源軟件與數(shù)據(jù)集、機(jī)器人技術(shù)、AI 應(yīng)用、醫(yī)療保健等許多方面做出了許多新的成果，不僅有許多論文，更有許多實(shí)際的技術(shù)產(chǎn)品。雷鋒網(wǎng) AI 科技評(píng)論在 2018 年中也曾單獨(dú)報(bào)道過(guò)其中的許多項(xiàng)目。
同樣由 Jeff Dean 撰寫(xiě)的 2017 年谷歌大腦年終總結(jié)見(jiàn)這里 上篇 下篇。如今谷歌把人工智能的相關(guān)研究開(kāi)發(fā)拓展到了新品牌「谷歌 AI」下面，曾經(jīng)的谷歌大腦負(fù)責(zé)人 Jeff Dean 也就成為了谷歌 AI 的負(fù)責(zé)人。
現(xiàn)在我們把這篇 Jeff Dean 代表全體谷歌科研人員撰寫(xiě)的谷歌科研成果 2018 年年終總結(jié)全文翻譯如下。
對(duì)于谷歌的研究團(tuán)隊(duì)來(lái)說(shuō)，2018 年又是充滿激情和干勁的一年。我們的技術(shù)研究成果在許多個(gè)不同的方向上繼續(xù)開(kāi)花結(jié)果，包括計(jì)算機(jī)科學(xué)方面的基礎(chǔ)科研成果和論文、科研結(jié)果在谷歌的更多新興方向中的應(yīng)用（比如醫(yī)療保健和機(jī)器人）、對(duì)開(kāi)源軟件的貢獻(xiàn)以及和谷歌的產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)之間的緊密協(xié)作，所有這些的目標(biāo)都是為了創(chuàng)建更多有用的工具和服務(wù)。下面我們來(lái)一起看看 2018 的一些成果，以及對(duì)未來(lái)的一年做一些展望。更詳細(xì)盡的匯總可以參見(jiàn)我們的 2018 年論文發(fā)表清單（https://ai.google/research/pubs/?year=2018）。
在過(guò)去的幾年中，我們共同見(jiàn)證了 AI 領(lǐng)域的重大進(jìn)步，欣喜地看到了 AI 對(duì)谷歌的產(chǎn)品產(chǎn)生了積極的影響，這些產(chǎn)品也在日常生活中為谷歌的數(shù)十億用戶提供了更多幫助。對(duì)于我們這些在 AI 領(lǐng)域工作的人來(lái)說(shuō)，我們非常在意 AI 是否成為了這個(gè)世界變得更好的推動(dòng)力 —— 也就是說(shuō)，它的使用是符合人類道德的，它用來(lái)解決的問(wèn)題也是對(duì)這個(gè)社會(huì)有益的。2018 年我們發(fā)布了谷歌 AI 準(zhǔn)則，它也帶有一系列負(fù)責(zé)任的 AI 應(yīng)用的示范樣本，描繪出了 AI 應(yīng)用實(shí)踐的技術(shù)指導(dǎo)。這些準(zhǔn)則和示范也一同構(gòu)成了評(píng)價(jià)我們谷歌自己的 AI 產(chǎn)品開(kāi)發(fā)的體系框架，我們希望別的組織機(jī)構(gòu)也能夠運(yùn)用這些準(zhǔn)則規(guī)范他們自己的思路。需要說(shuō)明的是，由于這個(gè)領(lǐng)域的發(fā)展速度飛快，我們?cè)谀承?zhǔn)則下提供的示范樣本（比如「為了避免產(chǎn)生和加強(qiáng)不公平的偏見(jiàn)」、「為了對(duì)人類可解釋」），也會(huì)隨著我們?cè)跈C(jī)器學(xué)習(xí)公平性和模型可解釋性等新領(lǐng)域開(kāi)展研究而不斷變化、不斷更新。這些研究研究成果反過(guò)來(lái)也會(huì)讓谷歌的產(chǎn)品不斷進(jìn)步，讓它們更具包容性、更少帶有偏倚，比如我們就已經(jīng)減少了谷歌翻譯中的性別偏倚，也探索并發(fā)布了內(nèi)容更為廣泛多樣的圖像數(shù)據(jù)集和模型（https://ai.google/tools/datasets/open-images-extended-crowdsourced/），以便讓計(jì)算機(jī)視覺(jué)模型在整個(gè)地球中更加多樣化的環(huán)境中都可以工作。更進(jìn)一步地，這些努力也讓我們得以把最佳實(shí)踐分享給更廣泛的研究群體，比如我們的機(jī)器學(xué)習(xí)快速課程中的 Fairness Module。
如今大家都已經(jīng)知道，在社會(huì)的許多方面、在許多重要的社會(huì)問(wèn)題上，AI 都有潛力帶來(lái)劇烈的影響。我們?cè)?AI 洪水預(yù)測(cè)方面的研究就是一個(gè)絕佳的例子，它展示了 AI 可以如何在真實(shí)世界的問(wèn)題上幫助人類。在多個(gè)谷歌內(nèi)部團(tuán)隊(duì)的合作下，這項(xiàng)研究的目標(biāo)被定義為「為洪水發(fā)生的可能性和可能覆蓋地區(qū)提供準(zhǔn)確、細(xì)時(shí)間粒度的信息」，而那些在洪水高危地區(qū)生活的人們就可以根據(jù)這些信息作出更好、更及時(shí)的判斷，能更好地保護(hù)自己、保護(hù)自己的財(cái)產(chǎn)。
另一個(gè)例子是我們研究如何預(yù)測(cè)地震的余震，我們展示了機(jī)器學(xué)習(xí)模型預(yù)測(cè)余震地址可以比傳統(tǒng)的基于物理模型的方法準(zhǔn)確得多。這項(xiàng)研究還有一個(gè)也許影響更為深遠(yuǎn)的方面，那就是因?yàn)槲覀冊(cè)O(shè)計(jì)的機(jī)器學(xué)習(xí)模型是具備可解釋性的，科學(xué)家們得以在這個(gè)模型的幫助下對(duì)余震的活動(dòng)作出更好的觀察，這不僅讓余震的預(yù)測(cè)變得更加準(zhǔn)確，也讓我們對(duì)余震本身有了更好的了解。
谷歌之外也有許多我們的伙伴。許多研究者和谷歌的研究員、工程師一起借助 TensorFlow 之類的開(kāi)源軟件鉆研各種各樣的科學(xué)和社會(huì)學(xué)問(wèn)題，比如用 CNN 識(shí)別座頭鯨的聲音，發(fā)現(xiàn)新的系外行星，識(shí)別生病的木薯等等。
為了鼓勵(lì)這個(gè)領(lǐng)域產(chǎn)生更多的新點(diǎn)子，我們與 Google.org 一同發(fā)起了「谷歌 AI 社會(huì)影響競(jìng)賽」，參加比賽的個(gè)人和組織研究需要一些從想法轉(zhuǎn)化為現(xiàn)實(shí)之后可能會(huì)帶來(lái)重大社會(huì)影響的項(xiàng)目，然后他們可以獲得總數(shù)為 2500 萬(wàn)美元的資助資金，而且可以獲得谷歌研究科學(xué)家、工程師、其它專家的指導(dǎo)。
在我們圍繞機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)展開(kāi)的研究中，有很大一部分都是希望幫助我們的用戶們更快、更高效地達(dá)到他們的目標(biāo)。通常這都需要科研團(tuán)隊(duì)和各種產(chǎn)品團(tuán)隊(duì)之間展開(kāi)合作，研究成果也發(fā)布成為各種各樣的產(chǎn)品功能和設(shè)置。其中一個(gè)例子是谷歌 Duplex，這個(gè)系統(tǒng)的建設(shè)需要我們把自然語(yǔ)言處理、對(duì)話理解、語(yǔ)音識(shí)別、文本轉(zhuǎn)語(yǔ)音、用戶理解以及高效的用戶界面 UI 設(shè)計(jì)多個(gè)方面的研究成果集中整合，而它的最終效果是，只需要用戶對(duì)著自己的手機(jī)詢問(wèn)「能不能幫我預(yù)定明天下午 4 點(diǎn)做頭發(fā)」，一個(gè)虛擬助手就會(huì)替你打電話到理發(fā)店敲定相關(guān)的細(xì)節(jié)。
我還可以舉一些例子，比如智能寫(xiě)作 Smart Compose，這個(gè)工具會(huì)通過(guò)預(yù)測(cè)模型給出寫(xiě)作提示，幫助用戶寫(xiě)作郵件，寫(xiě)作過(guò)程可以更快、更輕松；聲音搜索 Sound Search，它構(gòu)建在 Now Playing 功能的基礎(chǔ)上，可以快速、準(zhǔn)確地幫助用戶找到環(huán)境中正在播放的音樂(lè)；還有安卓系統(tǒng)中的 Smart Linkify，它展示了我們可以使用運(yùn)行在移動(dòng)設(shè)備上的機(jī)器學(xué)習(xí)模型分析屏幕上正在顯示的文本，理解文本內(nèi)容之后把它劃分為不同種類的小節(jié)，接著就可以直接點(diǎn)擊文本訪問(wèn)對(duì)應(yīng)的應(yīng)用程序。
Smart Linkify 智能地把連續(xù)的文本分成了一段地址 + 一個(gè)時(shí)間
我們目前的研究中一個(gè)重要的關(guān)注點(diǎn)就是讓谷歌助手這樣的工具支持更多的語(yǔ)言，以及讓系統(tǒng)更好地理解語(yǔ)義相似性，就是說(shuō)即便使用了完全不同的方式來(lái)表達(dá)，我們也希望它能理解人們希望表達(dá)的概念和想法是相同的。我們?cè)谔嵘Z(yǔ)音合成質(zhì)量以及缺乏訓(xùn)練數(shù)據(jù)的文本轉(zhuǎn)語(yǔ)音任務(wù)中的研究成果，未來(lái)也可能為谷歌的產(chǎn)品增加新的功能。
量子計(jì)算是一種正在逐漸發(fā)展壯大的計(jì)算范式，它有能力解決經(jīng)典計(jì)算機(jī)無(wú)法解決的非常困難的問(wèn)題。在過(guò)去的幾年中我們一直積極地在這個(gè)方向上進(jìn)行科學(xué)研究，我們也相信，量子計(jì)算機(jī)展現(xiàn)出解決多種問(wèn)題能力（所謂的量子霸權(quán)）的那個(gè)時(shí)刻即將到來(lái)，而這也將成為這個(gè)領(lǐng)域的分水嶺。2018 年里，我們的量子計(jì)算實(shí)驗(yàn)產(chǎn)生了一系列令人興奮的新成果，其中包括一個(gè)新的 72 位的量子計(jì)算設(shè)備 Bristlecone，它極大地拓展了量子計(jì)算機(jī)可以解決的問(wèn)題的大小。我們距離量子霸權(quán)的距離越來(lái)越近了。
我們也發(fā)布了 Cirq，這是一個(gè)為量子計(jì)算機(jī)開(kāi)發(fā)的開(kāi)源編程框架，我們也借助它探索了如何在量子計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)。最后，我們分享了研究量子處理器性能漲落的問(wèn)題的及經(jīng)驗(yàn)和技巧，也分享了關(guān)于「量子計(jì)算機(jī)有可能可以成為神經(jīng)網(wǎng)絡(luò)的計(jì)算性基礎(chǔ)設(shè)施」的想法。2019 年里，我們期待在量子計(jì)算空間里做出更多驚喜的成果。
對(duì)于自然語(yǔ)言處理領(lǐng)域，2018 年里谷歌收獲頗豐，我們有許多科研成果，也有許多關(guān)注于產(chǎn)品的內(nèi)部團(tuán)隊(duì)合作成果（https://ai.googleblog.com/search/label/Natural%20Language%20Understanding）。我們?cè)?2017 年發(fā)布的 Transformer 基礎(chǔ)上做了改進(jìn)，得到了一個(gè)新的時(shí)間并行的模型版本，我們把它稱作 Universal Transformer，它在包括翻譯、語(yǔ)意推理等許多自然語(yǔ)言任務(wù)中都展現(xiàn)出了極大的性能提升。我們也開(kāi)發(fā)了 BERT，這是首個(gè)深度雙向、無(wú)監(jiān)督的語(yǔ)言表示，它只需要在普通的文本語(yǔ)料上預(yù)訓(xùn)練，然后就可以通過(guò)遷移學(xué)習(xí)精細(xì)調(diào)節(jié)到許多種不同的自然語(yǔ)言任務(wù)上。相比之前的最佳表現(xiàn)的模型，BERT 在 11 種自然語(yǔ)言任務(wù)中都取得了顯著的表現(xiàn)提升。
除了和許多谷歌內(nèi)部的產(chǎn)品團(tuán)隊(duì)合作開(kāi)發(fā)了上文提到的 Smart Compose 和 Duplex 之外，我們也探索改進(jìn)了谷歌助手，讓它能夠更好地處理多語(yǔ)言混用的場(chǎng)景。我們的最終目的是希望所有的用戶都可以與它自然地用語(yǔ)言交流。
我們?cè)诟兄矫娴难芯抗タ肆俗層?jì)算機(jī)理解圖像、聲音、音樂(lè)和視頻等有難度的問(wèn)題，同時(shí)也為圖像捕捉、壓縮、處理、創(chuàng)意表達(dá)以及增強(qiáng)現(xiàn)實(shí)提供了更多更有力的工具。2018 年，我們把新技術(shù)融合進(jìn)了谷歌照片 app，它可以更好地整理用戶在意的照片內(nèi)容，比如人和寵物。谷歌 Lens 和谷歌助手則可以幫助用戶了解自然世界、實(shí)時(shí)回答問(wèn)題，谷歌圖像中的 Lens 還有更多新功能。我們?cè)?jīng)表示過(guò)，谷歌 AI 的使命中有一個(gè)重要的方面就是要給人類賦能、讓他們從技術(shù)中受益，這一年中我們也對(duì)谷歌 API 做了許多升級(jí)，改進(jìn)了它的功能、更新了它的基礎(chǔ)組件。一些例子包括谷歌云機(jī)器學(xué)習(xí) API 中的視覺(jué)和視頻的升級(jí)的新功能，以及通過(guò) ML Kit 實(shí)現(xiàn)的許多運(yùn)行在移動(dòng)設(shè)備上基礎(chǔ)組件，提供了面部識(shí)別相關(guān)一些功能。
2018 年中，我們對(duì)學(xué)術(shù)研究的貢獻(xiàn)包括了深度學(xué)習(xí)三維場(chǎng)景理解方面的進(jìn)展，比如立體變換（stereo magnification，https://arxiv.org/abs/1805.09817），它可以為一個(gè)場(chǎng)景生成全新角度、而且具有逼真畫(huà)質(zhì)的圖像。我們也有一些持續(xù)進(jìn)行中的研究，可以更好地理解圖像和視頻，也就可以幫助用戶更好地發(fā)現(xiàn)、組織、增強(qiáng)以及改進(jìn)谷歌產(chǎn)品（谷歌圖像、YouTube、谷歌搜索等）中出現(xiàn)的圖像和視頻。這一年中值得一提的改進(jìn)包括：用于快速聯(lián)合姿態(tài)估計(jì)以及人體實(shí)例分割的自底向上模型（https://arxiv.org/abs/1803.08225），一個(gè)用于復(fù)雜動(dòng)作可視化的系統(tǒng)（http://mosculp.csail.mit.edu/），一個(gè)可以對(duì)人和物體之間的的時(shí)間-空間關(guān)系建模的系統(tǒng)（https://ai.google/research/pubs/pub47219），以及借助蒸餾（https://arxiv.org/abs/1812.08249）和 3D 卷積技術(shù)（https://ai.google/research/pubs/pub47220）改進(jìn)視頻動(dòng)作識(shí)別。
在語(yǔ)音領(lǐng)域，我們提出了一種方法用于語(yǔ)義音頻表示的無(wú)監(jiān)督學(xué)習(xí)（https://ieeexplore.ieee.org/abstract/document/8461684），也提出了「高表現(xiàn)力、仿人類語(yǔ)音生成」的重大技術(shù)改進(jìn)（Tacotron，https://arxiv.org/abs/1803.09047）。同時(shí)，多模態(tài)感知也是一個(gè)越來(lái)越重要的研究話題。「通過(guò)看來(lái)聽(tīng)」（https://arxiv.org/abs/1804.03619）綜合了輸入視頻中的視覺(jué)和音頻線索，然后可以抽取、增強(qiáng)視頻中指定說(shuō)話者的聲音。這種技術(shù)有廣泛的應(yīng)用場(chǎng)景，從視頻增強(qiáng)和識(shí)別、到視頻通話、再到更好的聽(tīng)力輔助設(shè)備都可以運(yùn)用，尤其適合同時(shí)有多個(gè)人說(shuō)話的場(chǎng)景。
在資源有限的平臺(tái)上實(shí)現(xiàn)感知也越來(lái)越重要。我們的第一代移動(dòng)平臺(tái)計(jì)算機(jī)視覺(jué)模型 MobileNets 已經(jīng)在學(xué)術(shù)界和工業(yè)界得到了廣泛應(yīng)用，而我們也在 2018 年發(fā)布了第二代模型 MobileNetV2（https://arxiv.org/abs/1801.04381）。在 MorphNet （https://arxiv.org/abs/1711.06798）中，我們提出了一種高效的方法學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的架構(gòu)，它在符合計(jì)算資源限制的情況下為圖像和音頻模型提供了全面的性能改進(jìn)，而更新的自動(dòng)網(wǎng)絡(luò)生成方面的研究則表明了可以針對(duì)硬件設(shè)計(jì)表現(xiàn)更加優(yōu)異的模型。
在過(guò)去的幾年中，手機(jī)攝像頭畫(huà)質(zhì)以及易用性的提升可以說(shuō)是嘆為觀止。其中一部分改進(jìn)自然來(lái)自于手機(jī)攝像頭使用的感光器越來(lái)越先進(jìn)，但同時(shí)更大的功勞在于計(jì)算圖像學(xué)領(lǐng)域的科學(xué)技術(shù)改進(jìn)。我們谷歌的研究團(tuán)隊(duì)發(fā)表了自己的最新研究成果，也和谷歌的安卓系統(tǒng)團(tuán)隊(duì)、消費(fèi)級(jí)硬件團(tuán)隊(duì)緊密協(xié)作，把這項(xiàng)成果搭載在最新的 Pixel 手機(jī)以及其它的設(shè)備上，并最終送達(dá)用戶手中。早在 2014 年，我們就發(fā)布了 HDR+ 技術(shù)，它讓手機(jī)快速連拍多張曝光不同的照片，然后在軟件中對(duì)齊這幾張照片，并通過(guò)計(jì)算軟件把它們合并為一張照片。最初 HDR+ 的設(shè)計(jì)目的是讓照片具有比只拍一張照片更大的動(dòng)態(tài)范圍，后來(lái)，快速連拍多張照片并基于它們做計(jì)算性分析已經(jīng)成了一種通用的模式，2018 年的手機(jī)攝像頭基于這種模式開(kāi)發(fā)了更多的功能，比如 Pixel 2 手機(jī)中的運(yùn)動(dòng)照片，以及動(dòng)作靜止照片中的增強(qiáng)現(xiàn)實(shí)模式。
今年，我們?cè)谟?jì)算圖像學(xué)研究上的主要努力是為手機(jī)攝像頭開(kāi)發(fā)了一種新的能力，夜視，可以讓 Pixel 手機(jī)在夜里看得更清晰，這項(xiàng)功能也獲得了媒體和用戶的一致好評(píng)。當(dāng)然了，夜視僅僅是谷歌團(tuán)隊(duì)開(kāi)發(fā)的幫助用戶拍出完美照片的眾多功能之一，這些功能都基于軟件、服務(wù)于攝像頭，它們包括：用機(jī)器學(xué)習(xí)帶來(lái)更好的人像模式照片，通過(guò)超級(jí)清晰變焦看得更清楚、更遠(yuǎn)，以及用 Top Shot 和谷歌 Clips 捕捉特殊瞬間。
算法是谷歌各個(gè)系統(tǒng)背后的支撐骨架，各種算法決定著從谷歌旅行的路程規(guī)劃系統(tǒng)，到谷歌云的持續(xù)哈希系統(tǒng)等等的所有谷歌產(chǎn)品的表現(xiàn)。在過(guò)去的一年中，我們繼續(xù)在算法和理論方面進(jìn)行著深入的科學(xué)研究（https://ai.google/research/pubs/?area=AlgorithmsandTheory&year=2018），從理論基礎(chǔ)到實(shí)用算法，以及從圖挖掘（https://ai.google/research/teams/algorithms-optimization/graph-mining/）到保持隱私的計(jì)算方法。我們?cè)趦?yōu)化算法方面的探索覆蓋了許多領(lǐng)域，從用于機(jī)器學(xué)習(xí)的連續(xù)優(yōu)化，到分布式的組合優(yōu)化。在前一個(gè)領(lǐng)域，我們研究訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)的隨機(jī)優(yōu)化算法的收斂性的論文獲得了 ICLR 2018 的最佳論文獎(jiǎng)，這篇論文展示了熱門(mén)的基于梯度的優(yōu)化方法存在的問(wèn)題（比如 ADAM 的一些變種），同時(shí)也為一些新的基于梯度的優(yōu)化方法提供了扎實(shí)的理論基礎(chǔ)。（https://ai.google/research/pubs/pub47409）
對(duì)于分布式優(yōu)化問(wèn)題，我們研究了如何改進(jìn)組合優(yōu)化問(wèn)題中的輪數(shù)和溝通復(fù)雜度，比如通過(guò)輪數(shù)壓縮（https://ai.google/research/pubs/pub46793）和核心組的圖中的匹配（https://ai.google/research/pubs/pub46793），以及子模最大化（https://ai.google/research/pubs/pub46927）和 k 核分解（https://ai.google/research/pubs/pub47742）。對(duì)于更偏向應(yīng)用的方面，我們開(kāi)發(fā)了新算法解決通過(guò)草圖大規(guī)模設(shè)定封面（https://ai.google/research/pubs/pub46927），以及解決具有萬(wàn)億條邊的圖的平衡分區(qū)以及層次化分簇問(wèn)題。我們研究在線投遞服務(wù)的論文（https://doi.org/10.1145/3178876.3186104）得到了 WWW 2018 的最佳論文提名。還有，我們的開(kāi)源優(yōu)化平臺(tái) OR-tools （https://developers.google.com/optimization/）也在 2018 Minizinc 限定編程比賽中贏得了 4 面金牌。
對(duì)于算法選擇理論，我們提出了一些新的模型（https://doi.org/10.1145/3159652.3159702），也對(duì)重建問(wèn)題（https://doi.org/10.1137/1.9781611975031.38）和多項(xiàng)式分對(duì)數(shù)的學(xué)習(xí)問(wèn)題（http://proceedings.mlr.press/v80/chierichetti18a.html）做了一些調(diào)研。我們也研究了神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到的函數(shù)的類型（https://doi.org/10.4230/LIPIcs.ITCS.2018.22），以及如何使用機(jī)器學(xué)習(xí)的思想改進(jìn)經(jīng)典在線算法（http://papers.nips.cc/paper/8174-improving-online-algorithms-via-ml-predictions）。
對(duì)于谷歌來(lái)說(shuō)，了解一些有強(qiáng)有力的隱私保證的算法是有著重要意義的。在這樣的背景下，我們開(kāi)發(fā)了兩種新的方法，通過(guò)迭代（https://ai.google/research/pubs/pub47118）和隨機(jī)排序（https://ai.google/research/pubs/pub47557）進(jìn)一步分析并增強(qiáng)差分隱私。我們也使用差分隱私技術(shù)設(shè)計(jì)可以感知?jiǎng)訖C(jī)的學(xué)習(xí)方法（https://ai.google/research/pubs/pub46913），它們?cè)诓┺闹泻荇敯?。類似這樣的學(xué)習(xí)技巧都在高效的在線市場(chǎng)設(shè)計(jì)中得到了應(yīng)用。我們?cè)谑袌?chǎng)相關(guān)的算法領(lǐng)域也有一些新的研究，比如幫助廣告商測(cè)試廣告投放的動(dòng)機(jī)兼容性的技術(shù)（https://ai.google/research/pubs/pub46968），以及優(yōu)化 app 內(nèi)廣告的刷新方式的技術(shù)（https://ai.google/research/pubs/pub46847）。我們也在重復(fù)拍賣問(wèn)題中把當(dāng)前最優(yōu)的動(dòng)態(tài)機(jī)制又向前推進(jìn)了一步，我們的動(dòng)態(tài)拍賣對(duì)于缺少未來(lái)預(yù)期（https://ai.google/research/pubs/pub47744）、預(yù)測(cè)有噪聲（https://ai.google/research/pubs/pub47745）、異質(zhì)買家行為（https://ai.google/research/pubs/pub46969）等狀況都可以保持魯棒，我們的結(jié)果還可以拓展到動(dòng)態(tài)雙拍賣的場(chǎng)景中（https://ai.google/research/pubs/pub47734）。最后，在在線優(yōu)化和在線學(xué)習(xí)魯棒性問(wèn)題中，我們開(kāi)發(fā)了新的在線分配算法處理帶有流量峰值的隨機(jī)輸入（https://dl.acm.org/citation.cfm?id=3105446），以及對(duì)損壞的數(shù)據(jù)魯棒的修補(bǔ)算法（https://ai.google/research/pubs/pub47732）。
我們對(duì)于軟件系統(tǒng)的研究很大部分都繼續(xù)與構(gòu)建機(jī)器學(xué)習(xí)模型有著種種聯(lián)系，尤其是與 TensorFlow 有許多聯(lián)系。比如，我們針對(duì) TensorFlow 1.0 發(fā)布了動(dòng)態(tài)控制流的設(shè)計(jì)和實(shí)現(xiàn)（https://dl.acm.org/citation.cfm?id=3190551）。我們?cè)诤髞?lái)的研究中介紹了一個(gè)稱作 Mesh TensorFlow 的系統(tǒng)，通過(guò)它可以很方便地定義具有并行模型的大規(guī)模分布式計(jì)算，這樣的系統(tǒng)可以包含多達(dá)幾十億個(gè)參數(shù)。另一個(gè)例子是，我們還發(fā)布了一個(gè)用于可拓展的深度神經(jīng)排序的 TensorFlow 庫(kù)。
我們也發(fā)布了 JAX（https://github.com/google/jax），這是一個(gè)帶有加速器的 NumPy 的變種，它可以支持 Python 函數(shù)的任意階自動(dòng)微分。雖然 JAX 并不包含在 TensorFlow 中，它所使用的部分底層基礎(chǔ)軟件其實(shí)是和 TF 相同的（比如 XLA，https://www.tensorflow.org/xla/），而且 JAX 的一些想法和算法也對(duì) TF 起到了不小幫助。我們?cè)跈C(jī)器學(xué)習(xí)的安全和隱私方面也做了更多研究，我們開(kāi)發(fā)的安全、保證隱私的開(kāi)源框架也用在了更多的 AI 系統(tǒng)中，比如 CleverHans （https://github.com/tensorflow/cleverhans）和 TensorFlow Privacy（https://github.com/tensorflow/privacy）。
我們看重的另一個(gè)研究方向是機(jī)器學(xué)習(xí)在軟件系統(tǒng)中的應(yīng)用，這可以發(fā)生在許多不同的層次上。比如，我們持續(xù)地研究用層次化模型向不同的設(shè)備分配計(jì)算任務(wù)（https://openreview.net/pdf?id=Hkc-TeZ0W），以及我們參與了學(xué)習(xí)內(nèi)存訪問(wèn)模式的研究（http://proceedings.mlr.press/v80/hashemi18a/hashemi18a.pdf）。我們也繼續(xù)探索如何用模型學(xué)習(xí)到的索引在數(shù)據(jù)庫(kù)和存儲(chǔ)系統(tǒng)中替代傳統(tǒng)的索引結(jié)構(gòu)。正如我在去年的總結(jié)中寫(xiě)的，對(duì)于如何在計(jì)算機(jī)系統(tǒng)中使用機(jī)器學(xué)習(xí)，我們目前的認(rèn)識(shí)其實(shí)還處在非常早期。
2018 年里我們也結(jié)識(shí)了 Spectre 和 Meltdown 這兩個(gè)現(xiàn)代計(jì)算機(jī)處理器帶有的嚴(yán)重安全漏洞，它們也正是在谷歌的零計(jì)劃（Project Zero）團(tuán)隊(duì)與其他團(tuán)隊(duì)的合作中發(fā)現(xiàn)的。這些漏洞以及其它相關(guān)的漏洞著實(shí)讓計(jì)算機(jī)架構(gòu)研究人員們忙活了一陣子。在我們持續(xù)地對(duì) CPU 的行為建模的過(guò)程中，我們的編譯器研究團(tuán)隊(duì)把他們的測(cè)量機(jī)器指令延遲和端口壓力的工具集成進(jìn)了 LLVM 中，這讓編譯器得以做出更好的決定。
谷歌具有為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)構(gòu)建大規(guī)模、可信賴、高效的技術(shù)架構(gòu)的能力，谷歌的消費(fèi)者產(chǎn)品、谷歌的云端服務(wù)以及機(jī)器學(xué)習(xí)模型的推理就都高度依賴于這種能力。在過(guò)去的一年中，這些方面的研究亮點(diǎn)包括谷歌最新進(jìn)化的軟件防御網(wǎng)絡(luò) WAN（https://ai.google/research/pubs/pub47191）；一個(gè)獨(dú)立工作、聯(lián)邦式的查詢處理平臺(tái)，它可以在以不同的文件形式存儲(chǔ)的數(shù)據(jù)上、在許多不同的存儲(chǔ)系統(tǒng)上執(zhí)行 SQL 查詢語(yǔ)句（https://ai.google/research/pubs/pub47224）；以及一個(gè)關(guān)于我們谷歌的代碼審查做法的詳細(xì)報(bào)告，包含了谷歌的代碼審查背后的動(dòng)機(jī)、目前的慣例、開(kāi)發(fā)者的滿意狀況以及挑戰(zhàn)（https://ai.google/research/pubs/pub47025）。
運(yùn)行一個(gè)內(nèi)容存儲(chǔ)之類的大規(guī)模網(wǎng)絡(luò)服務(wù)需要在不斷變化的環(huán)境中做穩(wěn)定的負(fù)載均衡。我們開(kāi)發(fā)了一個(gè)持續(xù)的哈希方案（https://dl.acm.org/citation.cfm?id=3175309），它對(duì)于每一個(gè)服務(wù)器的最大負(fù)載有一個(gè)嚴(yán)密、可證明的保證，我們把它部署在了谷歌云的 Pub/Sub （https://cloud.google.com/pubsub/）上，為谷歌云的客戶提供服務(wù)。在發(fā)布了最初版本的論文（https://arxiv.org/abs/1608.01350）之后，Vimeo 的工程師注意到了這篇論文，實(shí)現(xiàn)了它并把它開(kāi)源到 haproxy，然后在 Vimeo 的負(fù)載均衡項(xiàng)目中使用它。它帶來(lái)了顯著的改進(jìn)，這些算法思想的運(yùn)用大幅降低了服務(wù)器緩存的帶寬需求，幾乎只有原先的 1/8，消除了一個(gè)重大性能瓶頸。
（未完，下半篇見(jiàn)這里）
via https://ai.googleblog.com/2019/01/looking-back-at-googles-research.html，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
