0
| 本文作者： 程弢 | 2017-03-28 11:41 |
今天，騰訊正式發(fā)布了旗下深度學習平臺DI-X（Data Intelligence X），這是繼今年1月推出FPGA云服務器之后，騰訊在人工智能領域的又一重大舉措。據(jù)雷鋒網(wǎng)了解，DI-X將基于騰訊云的大數(shù)據(jù)存儲與處理能力，為其用戶提供一站式的機器學習和深度學習服務。
馬化騰曾表示：“人工智能、物聯(lián)網(wǎng)，甚至未來的無人駕駛、機器人等等，它的后臺的核心一定有一顆在云端的大腦。”而對于騰訊而言，馬化騰所提及的云端大腦正是構建與其騰訊云服務之上。
隨著DI-X深度學習平臺已經(jīng)上線，騰訊云在人工智能領域產(chǎn)品線已經(jīng)覆蓋了IaaS基礎設施、AI平臺服務、AI基礎服務、AI應用服務以及垂直解決方案。
那么最新推出的DI-X和騰訊去年開源的大數(shù)據(jù)框架Angel以及Mariana究竟有何聯(lián)系？和其它平臺相比，DI-X又有何特點呢？為此，雷鋒網(wǎng)采訪了騰訊T4專家、騰訊云機器學習平臺技術負責人Andy。
騰訊內部有一個機器學習平臺，從2015年的10月份就開始啟動了。因為公司有很多的算法工程師和數(shù)據(jù)科學家，大家做的事情都很類似，迫切需要一個這樣的平臺來承載大家的需求，在上面方便的進行各種組件，算法和模型的配置，快速的判斷模型效果，并應用到生產(chǎn)上。之前公司內部的大數(shù)據(jù)平臺，包括存儲，計算和分析……都已經(jīng)日趨成熟了，在此之上，需要往上再走一步，進行機器學習和人工智能，所以這樣的平臺就應運而生了。
平臺在內部運行1年左右之后，效果還不錯，于是騰訊云就啟動了這個項目（DI-X），將內部平臺遷移到騰訊云上。在今年的3月份上旬，GPU云服務器產(chǎn)品也對外開放了，所以DI-X剛好和它對接上，主攻深度學習，希望能幫助到更多的騰訊云的中小用戶，接入AI的快車道。
項目是由SNG騰訊云的數(shù)據(jù)產(chǎn)品團隊和TEG數(shù)據(jù)平臺部的機器學習團隊聯(lián)合而成，人不多，就十幾個。我們相信小團隊比較適合快速的迭代，產(chǎn)品現(xiàn)在還很年輕，需要快速的成長。
機器學習平臺的設計，其實即便是Azure，都有很多不完善的地方，而這個平臺是一開始就是要服務內部用戶的，所以會面對很多用戶奇奇怪怪的需求，而這時如何去將這些需求化解為真正對平臺有通用意義的功能，是需要有很強的理解力和把控力的，這個是對這個產(chǎn)品最大的挑戰(zhàn)之一。
這個平臺面對的另外一個挑戰(zhàn)，就是人工智能和機器學習的發(fā)展太快了，很多新的功能和需求，不停的出現(xiàn)，也有新的更好的平臺值得借鑒。我們需要更快的走完前人走的路，還要跟上后來者的節(jié)奏，這個對團隊的快速迭代能力，也有很高的要求。
DI-X的設計理念是打造一個一站式的機器學習平臺，集開發(fā)、調試、訓練、預測、部署于一體, 讓算法工程師和數(shù)據(jù)科學家，無須關注機器學習（尤其是深度學習）的底層工程繁瑣的細節(jié)和資源，專注于模型和算法調優(yōu)。
DI-X的最終目的是成為一個時尚，強大而智能的機器學習平臺，讓機器學習充滿樂趣，助力人工智能。
伴隨著機器學習和人工智能的發(fā)展，對騰訊這樣大體量的公司來說需要一個這樣的平臺來支持內部算法工程師的需求。DI-X目前已經(jīng)在騰訊內部廣泛使用，一開始的目的也是支撐內部。隨著系統(tǒng)成熟，我們覺得可以通過騰訊云，把這個能力開放出來。
整體上來看，DI-X和阿里數(shù)加，Azure是競品，大家會各有所長。
主要體現(xiàn)在以下三個方面：
1. 易用性：可視化的拖拽式任務流設計界面，配備了輸入、組件、算法、模型、輸出5類模塊，靈活組合，可以做到無須任何編碼而完成復雜機器學習任務。
2. 靈活性：用戶既支持使用集成的機器學習算法，也能在業(yè)界的各種機器學習組件上提交自己算法。
3. 重點支持深度學習：目前支持TensorFlow，Caffe，Torch3種框架組件，后續(xù)會提供更多深度學習框架和針對性優(yōu)化。
Angel是一個高緯度的機器學習框架，可以作為一個獨立的機器學習組件，也可以作為PS-Service（參數(shù)服務器服務），支持Spark和其它深度學習框架。內部已經(jīng)在試用了，開源之后也會發(fā)布到DI-X上面，讓用戶方便的使用和接入。
Mariana主要是一個針對GPU，基于Caffe進行了數(shù)據(jù)并行和模型并行能力升級的一個分布式GPU計算框架，也是可以在DI-X上運行的一個框架組件。我們在內部版本的TeslaML上，都有這個組件的存在，但是對外的話，我們計劃是將它融合到Angel之中，作為一個整體開放。
DI-X在騰訊內部服務一段時間了，大部分的場景都是比較大的數(shù)據(jù)量的，所以會適合工業(yè)界一些。對于學術界是否合適，我覺得要用戶來評判。當然我們很歡迎學術界的朋友來試用。
DI-X目前剛剛推出，比起之前的產(chǎn)品有一些的時間距離，這是劣勢，也是優(yōu)勢。相比之下，成熟度會弱一點，但是我們借鑒了之前產(chǎn)品的特點和經(jīng)驗，并做了一些改進和創(chuàng)新。尤其是算法的“小尾巴”設計上，和之前的產(chǎn)品設計都不太一樣，在模型的收藏，使用，預測，部署上，都會有很多的優(yōu)勢，對深度學習更加的友好。
目前的各個深度學習組件，我們都是使用業(yè)界的開源最新版本，打通和COS的交互。后續(xù)在多機多卡的加速上，我們會借助Angel，提供更強的性能支持。
DI-X解決的問題，主要是用戶在騰訊云有了資源之后，可以降低開發(fā)和使用機器學習的門檻。假如你購買了GPU的計算集群，你需要到上面自己去安裝各種組件，上傳作業(yè)，調度運行，關注告警；但是有了DI-X，你只要點幾下鼠標，對接上GPU資源后，就能把一個深度學習算法跑起來了，無論是你自己開發(fā)的還是業(yè)界現(xiàn)有的，這樣的一站式平臺，都能夠降低算法工程師和數(shù)據(jù)科學家的門檻，他們不用操心很多工程上的細節(jié)，可以專心的調算法和參數(shù)，把模型訓練好。
目前DI-X在騰訊內部，應用廣泛，例如游戲流失率預測、用戶標簽傳播以及廣告點擊行為預測，這些應用背后都有DI-X的支持。以用戶行為預測為例，借助DI-X平臺，可以方便的拖拽出一個BRNN Encoder模型（雙向循環(huán)神經(jīng)網(wǎng)絡編碼器），從用戶自身和用戶圈子好友的行為序列數(shù)據(jù)中提取出基礎特征，進行棧式自編碼（Stacked Auto-Encoder）模型的訓練，充分利用RNN的模型特點，得到比常規(guī)模型更精準的行為預測效果。
對于騰訊云來說，DI-X是補上了重要的一環(huán)，讓騰訊云的智能云能力，更加的完備，并充分發(fā)揮GPU計算集群的產(chǎn)品能力，是一對很好的搭檔產(chǎn)品。
使用DI-X，對于中小企業(yè)來說，某種程度上是開上了機器學習和人工智能的快車道，這個是我們的期望。不需要重復的搭建類似的系統(tǒng)，可以一鍵式的完成算法和模型的開發(fā)、調試、評估、部署和預測，快速的完成閉環(huán)，并對接生產(chǎn)系統(tǒng)。
未來，我們希望能夠幫助到更多的AI創(chuàng)業(yè)公司和客戶，降低他們的創(chuàng)業(yè)門檻，更快的專注于有創(chuàng)意的業(yè)務上，而無須擔心底層。另外我們也希望能夠將騰訊的成熟的數(shù)據(jù)，算法，模型開放出來，幫助到需要的小公司，讓它們能夠快速成長。
當然，DI-X仍然不是一款成熟的產(chǎn)品，和現(xiàn)有的平臺相比顯然還有一定的差距，這對產(chǎn)品團隊的技術水平是一次考驗。Andy告訴雷鋒網(wǎng)，在后續(xù)的版本當中，他們還會做一系列的優(yōu)化：
首先，會把其它的機器學習組件補齊，包括Spark、xgBoost，甚至于Python、R，我們都會一一加上，讓DI-X更加完整；
其次，要把深度學習的特性做進一步的產(chǎn)品優(yōu)化，使得它能夠在模型的超參數(shù)調節(jié)，效果可視化上，具有更好的競爭力。
毋庸置疑，人工智能基礎服務已經(jīng)成為互聯(lián)網(wǎng)巨頭必爭之地，作為騰訊“云端大腦”的一部分，DI-X上線后的表現(xiàn)如何，我們拭目以待！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
