雷鋒網(wǎng)[AI科技評論]按：本文根據(jù)鄭宇教授在中國人工智能學(xué)會AIDL第二期人工智能前沿講習班＊機器學(xué)習前沿所作報告《多源數(shù)據(jù)融合與時空數(shù)據(jù)》編輯整理而來，雷鋒網(wǎng)在未改變原意的基礎(chǔ)上略作了刪減。

鄭宇

鄭宇，微軟研究院城市計算領(lǐng)域負責人、資深主任研究員、上海交通大學(xué)講座教授、香港科技大學(xué)客座教授、人工智能國際權(quán)威期刊 ACM TIST 主編、美國計算機學(xué)會杰出科學(xué)家，ACM數(shù)據(jù)挖掘中國分會（KDD China）秘書長。2013年被MIT Technology Reivew評為全球杰出青年創(chuàng)新者（TR35）。在國際頂尖會議和期刊上發(fā)表論文百余篇，論文被引用12000多次， H-Index  53（Google Scholar，截至2017-3-15），2016年論文單年被引用3200余次。

謝謝介紹，謝謝邀請！大家經(jīng)常聽到的機器學(xué)習、人工智能這些概念，大部分應(yīng)用案例都是在圖形圖像以及自然語言處理方面，在城市里跟我們生活比較接近的，特別是應(yīng)用在時空數(shù)據(jù)的例子比較少。現(xiàn)在我就用城市大數(shù)據(jù)為例子，來說明一下機器學(xué)習如何應(yīng)用于時空數(shù)據(jù)領(lǐng)域。

大家都知道我們現(xiàn)在生活越來越現(xiàn)代化，但是問題越來越多：交通擁堵、環(huán)境惡化、能耗增加。要解決這些問題在很多年前看似幾乎不可能，因為城市設(shè)置非常復(fù)雜，環(huán)環(huán)相扣，牽一發(fā)而動全身，現(xiàn)在由于有了各種傳感器技術(shù)的成熟和云計算單元的成熟，使得我們有各種各樣的大數(shù)據(jù)，從社交媒體到交通流量，從氣象條件到地理信息，如果使用得當?shù)脑挘覀兙湍軌蛴眠@些數(shù)據(jù)來發(fā)現(xiàn)城市面臨的問題，并進一步通過組合這些數(shù)據(jù)來解決我們面臨的挑戰(zhàn)?；谶@樣的機遇和挑戰(zhàn)，我們在2008年就提出了城市計算這樣一個愿景，包括以下四個層面：從下往上（下圖）有城市感知數(shù)據(jù)獲取，城市數(shù)據(jù)的管理，城市數(shù)據(jù)的分析和挖掘到最后服務(wù)的提供。

雖然我們今天主題是叫機器學(xué)習，但是我想你們肯定想，機器學(xué)習到底能解決什么城市問題。在機器學(xué)習真正落地的過程中，可能還要依托于其他的平臺甚至于其他的學(xué)科，包括數(shù)據(jù)管理。我就成體系地講講到底機器學(xué)習算法怎么改變我們生活中的方方面面。

從最下面的層面來看，城市數(shù)據(jù)感知這部分，其實每個層面都發(fā)現(xiàn)我們都需要用機器學(xué)習的方法來做一些事情，這個層面是概念上劃分的，實際說是互相有交集的。

城市數(shù)據(jù)獲取

我們看城市數(shù)據(jù)的獲取，獲取方式主要有兩種：

• 第一種，以傳統(tǒng)傳感器為感知的方法

• 第二種，以人為中心的感知方法

第一個，以傳統(tǒng)傳感器的感知方法進一步可以分成兩個子類，要么把傳感器放在一些固定的地方，要么把傳感器裝在一些移動的物體上面，比如說在公交車、出租車上裝傳感器，但是不管哪一種，一旦裝完之后人就不參與了，這個數(shù)據(jù)自動傳到我們后臺。

另外一個，以人為中心的感知，這是比較新的概念，也叫群體感知，這里面也分成兩個方面，一個叫做被動式群體感知，一個叫主動式群體感知。被動式群體感知，每天每個人都在參與，我們并不知道我們打電話的時候，我們的數(shù)據(jù)可以拿去改進通話網(wǎng)絡(luò)的質(zhì)量；我們并不知道我們公交車上下車刷卡的時候，這個數(shù)據(jù)可以幫助優(yōu)化我們的公交線路，改進城市規(guī)劃。把每個人的數(shù)據(jù)收集在一起，感知城市的變化，最后解決問題，這叫做被動式群體感知。主動式群體感知就是，任務(wù)是什么很明確，什么時間、什么地點、干什么事情、共享用什么數(shù)據(jù)，這個數(shù)據(jù)拿來干什么用都很清楚，甚至還有激勵機制，你可以選擇什么時候加入或不加入。這是目前城市數(shù)據(jù)來源的四種方式。

城市感知之后我們會遇到什么樣的難點呢，特別是跟機器學(xué)習有什么相關(guān)性，我總結(jié)了四個方面的難點，跟機器學(xué)習相關(guān)的難點。

• 第一，我們在城市數(shù)據(jù)感知的時候，往往拿到的是采樣數(shù)據(jù)，不是全集。

假設(shè)整個城市數(shù)據(jù)是灰色的點，我們可能只拿到紅色的這一部分，某些屬性在這些采樣數(shù)據(jù)上分布跟在全集數(shù)據(jù)上的分布很不一樣。舉個實例，比如可以拿到出租車的GPS軌跡（數(shù)據(jù)），我們知道出租車只是整個城市里面車流的一小部分，出租車的分布跟我們私家車的分布可能很不一樣，有的地方可能很多出租車，但是沒有那么多私家車，反過來，可能有的地方很多私家車，卻沒有什么出租車。所以你不能說簡單看到幾個出租車，乘一個系數(shù)就推斷有多少私家車，這個就是偏斜的分布問題，不管哪個場景里，發(fā)現(xiàn)我們拿到的都是采樣，如何從這些采樣數(shù)據(jù)里面把全集的知識推斷出來，比如說怎么把整個城市里面所有車的車流量實時推斷出來，這就是對應(yīng)的難點。這個地方有相應(yīng)的論文，如果你對這個問題感興趣的話，類似的問題可以從這些論文里找到相關(guān)的技術(shù)，我先把它概述一下，這是第一個難點。

• 第二，Data Sparsity，我們的傳感器往往是很少的

  舉個例子，我們北京市空氣質(zhì)量分析。北京市我們建了35個空氣質(zhì)量站點，你知道北京那么大，光靠這35個空氣質(zhì)量站點，怎么把整個北京市每個角落的空氣質(zhì)量都能夠感知到呢，這是一個數(shù)據(jù)稀疏的問題，這里面要用到一些機器學(xué)習的方法來做。
  

• 第三，Data Missing的問題

  這個問題可能很多人認為跟Data Sparsity是同一個問題，其實不是同一個問題.。Data Sparsity是采樣點很少，Data Missing是說本來就應(yīng)該有個點，可是因為傳感器出現(xiàn)故障，導(dǎo)致這個小時的數(shù)據(jù)會丟失。Data Missing是一個雪上加霜的問題，不是同一個問題，一個是說傳感器少，一個說我本來有傳感器可能還會丟，怎么去把這個丟失的數(shù)據(jù)填滿，這可能是很多問題需要做的預(yù)處理的第一步，后面學(xué)習的時候就要填，怎么填一下等下我來講。Data Sparsity、Data Missing，這是第二和第三大挑戰(zhàn)。

• 第四，資源有限

  如何用有限的資源做更多的事情，采更多的數(shù)據(jù)，如何利用限的資源獲得更大的感知效果，這是非常困難的。為什么困難？兩個原因，第一，我們有很多候選集可以選，從很大的數(shù)據(jù)集里面選一部分數(shù)據(jù)的時候，往往是一個NP的問題。比如，我們城市那么大，每個路口都可以布充電樁或者加油站，而我只有錢布2到3個充電樁，我應(yīng)該放在什么位置，使得效果最大化。這就是一個maximum coverage的問題。還有一個原因會導(dǎo)致問題更難，即我們根本不知道Ground Truth。假設(shè)北京已經(jīng)有兩個空氣質(zhì)量監(jiān)測站點，我們還要建4個，我們要放在什么地方使得空氣質(zhì)量感知最大化，你沒有建站點之前不知道這個空氣質(zhì)量多少，根本不知道什么叫好、什么叫壞，這是難點，里面都有相關(guān)的論文去解決這樣的問題。

現(xiàn)在講完城市感知的一些挑戰(zhàn)和采集的方法之后，我們來看一個比較真實的例子。先看一個偏應(yīng)用的，再看一個偏理論的。先看比較偏應(yīng)用的。

我們都知道120系統(tǒng)，病人打電話到急救中心，急救中心會從救護車站派車把人送到醫(yī)院，再返回到救護車站。救護車站并不都在醫(yī)院，有很多原因。

• 第一，救護車運營系統(tǒng)和醫(yī)院其實是兩個不同的系統(tǒng)；

• 第二，很多時候我們必須要把救護車放在某個地方（不是在醫(yī)院），要保證對任何一個呼救，救護車能在規(guī)定的時間內(nèi)能夠到達搶救地點。如果車都放到醫(yī)院里面，必然有的地方就會太遠，使得救護車不能在規(guī)定時間內(nèi)到達，搶救病人。

下圖是天津市的一個救護車站站點的分布圖。以前站點的選址，可以說基本上是拍腦袋決定，比如根據(jù)一個地方大概的總?cè)丝跀?shù)、路網(wǎng)密度來布置站點。大家知道120的需求量跟人口數(shù)并不一定成比例，還跟人的身體健康狀況、年齡結(jié)構(gòu)有關(guān)。現(xiàn)在我們有了真實的120求救數(shù)據(jù)，我們知道什么時間、什么地方，有多少人求救。以及救護車在急救過程中他們的GPS軌跡、花了多少時間，通過我們的方法、算法重新對站點的位置選址和布局，使得救護車救這么多病人平均搶救時間最小化。通過我們的算法重新選址后，我們能夠把搶救時間縮短30%。比如，以前救100個病人假設(shè)花100個小時，現(xiàn)在只需要花70個小時，還是那么多車、還是那么多站點，我們卻能更快地把病人送到醫(yī)院。把時間節(jié)約下來留在在手術(shù)室搶救病人的生命，這是人命關(guān)天的事情，是資源調(diào)度優(yōu)化的問題。這個站點如何部署就很有講究了，你放的好和不好就會有很大的區(qū)別。

第一步放完站點之后，第二步，這個站點里面的車的數(shù)量不是固定的，有的地方早上需求量較大，有的地方晚上需求量較大，不能說車從早到晚一直放在某個站點，浪費了。這個車在站點之間如何動態(tài)調(diào)配，使得我們的資源最大化，這是問題。這是我們解決這個問題里邊兩個研究的點，這兩個技術(shù)分別干什么事情，第一個是選站點，第二個是資源在站點之間的調(diào)配。你可以想象這是一類通用的問題。找出一個點，使得很多人到這個點的平均時間最短化。通俗的例子，比如我們10個同學(xué)聚會，選擇哪個地方聚會，使得大家去的平均時間最短，這就是一個例子。我們救護車站、火警，凡是時間因素非常關(guān)鍵的選址都可選用這類模式。

第二個，偏理論的例子。我剛才說數(shù)據(jù)會缺失，要填補，怎么填補？這是一個非常基礎(chǔ)的問題，幾乎我們做所有的機器學(xué)習的人在第一步拿出數(shù)據(jù)的時候會發(fā)現(xiàn)，這個數(shù)據(jù)質(zhì)量不好，有一些缺失。可能傳感器壞了，或者數(shù)據(jù)沒傳過來。我們拿的很多數(shù)據(jù)都是有缺的，氣象數(shù)據(jù)有缺的，空氣質(zhì)量有缺的，甚至包括車聯(lián)網(wǎng)里面數(shù)據(jù)很多都是會出現(xiàn)殘缺的，怎么填？這是一個很重要的問題。

我們怎么做呢？我們基本上就是利用缺失點時序以及空間鄰居的數(shù)據(jù)，一起來把這個數(shù)據(jù)填滿，而不是僅僅只看自己的時間臨近值。至于怎么用、怎么填是有講究的，是用前一小時的數(shù)據(jù)還是用周邊的數(shù)據(jù)，這個其實是比較難決策的過程。

這個問題有幾個難點，為什么很難？

• 第一，我們并不知道什么時候、什么地方數(shù)據(jù)缺，缺的是隨機的，不是固定的，導(dǎo)致我們很多機器學(xué)習模型不能用。因為我們知道機器學(xué)習的輸入，一定是有輸入的特征、維度，各種維度是固定的，如果你不知道哪個地方會缺、哪個地方會有，你的目標在哪里都不知道，所以很難用一個很好的固定模型來做。甚至有時候會出現(xiàn)整體缺失，比如說6個小時斷電了，所有傳感器沒有了，或者某一個傳感器連續(xù)5、6個小時都沒有數(shù)據(jù)，怎么辦，這是一個難點，把缺失的數(shù)據(jù)填完是很難的。

• 第二，我們往往覺得用臨近的差值就好了，但是臨近差值并不一定就對，在很多應(yīng)用場景里，特別是我們城市環(huán)境里面很多應(yīng)用是不對的。用空氣質(zhì)量站點為例子，你們看這幾個站點里面，這兩個站點更近一點，這個站點更遠一點，按理來講空氣質(zhì)量缺失的是用近的代替更好一點，但實際發(fā)現(xiàn)，雖然這個站點距離近，但是這個站點是在森林里面，而兩外兩個站點都在商業(yè)區(qū)，商業(yè)區(qū)的空氣質(zhì)量更像，隨著這兩個商業(yè)區(qū)的位置比較遠。因此，并不是越近的越像，還要看這些位置所處的環(huán)境，這會打破常規(guī)規(guī)律。時間上也是一樣的，當然在平穩(wěn)的時候，是越接近的時刻空氣質(zhì)量越像，比如，這一個小時可能跟未來一個小時的空氣質(zhì)量接近。當遇到大風、極端天氣，出現(xiàn)陡降的時候，下一個小時的值可能驟降，還不如找更遠的時間的空氣質(zhì)量還替代此刻的缺失值。時空臨近不一定都是對的，可能大部分都是對的，但不一定都對。

我們用幾個方法來解決這個問題：

• 第一，從時、空兩個角度來解決

  空間角度，就是可以用周邊的站點數(shù)據(jù)。簡單來說，把這個數(shù)據(jù)放在矩陣里面，每一行是傳感器，每一列就是時間點，每個值就是這個傳感器在這個時間點的讀數(shù)，這個叉的就是缺的地方。這個缺的時候用周邊的填，相當于用行間的關(guān)系把它填了。

  時間角度，根據(jù)一個傳感器自己的值，就是說前后的值、左右的值來填它，這個傳感器前后時間值就對應(yīng)這個矩陣里面左右行的值。

• 第二，從局部、全局兩個角度來解決

  局部，是用最近的數(shù)據(jù)來填，假設(shè)我把最近的數(shù)據(jù)形成一個小的矩陣，我們通過矩陣的關(guān)系來推斷這個數(shù)值。

  全局，是根據(jù)一個很長歷史數(shù)據(jù)，找到經(jīng)驗性規(guī)律來填。 什么是全局，根據(jù)地理學(xué)第一定律，地球上越近的地方越像，大部分時候是滿足這個規(guī)律的。隨著距離的增加，兩個點之間的空氣質(zhì)量相似點就應(yīng)該下降，這個是正常的。往往都會用這種方法來做，跟距離成反比的線性加權(quán)關(guān)系。根據(jù)時間的話，一般都認為時間越遠越不像，不像一般是指數(shù)衰減，一般是用SDS，β是一個小于1的系數(shù)，越遠的越不像。這個是經(jīng)驗公式，不一定都滿足，剛剛講的例子就不滿足，比如剛剛這兩個地方雖然近，反而更遠的更像，是因為這兩個都是酒吧商業(yè)街，不見得這個地方就像，而且這個地方臨近的時候也不見得像。這部分數(shù)據(jù)怎么辦呢？就靠你最近一段時間的數(shù)據(jù)，我們不看長遠的，就看最近一段時間里面的數(shù)據(jù)，把它形成一個local view。大家如果學(xué)過協(xié)同過濾，就是一個推薦的方法，我們把人看成一個傳感器，你就可以用基于用戶的方法和基于這個方法來做一個協(xié)同過濾。

  

總的來說，從時空來看，從局部全局看，2×2就有四種方法，對應(yīng)四個模型，四個視角。用局部的時間、局部的空間和全局的時間、全局的空間，你分別都會有一個結(jié)果，這四個結(jié)果做一個多視角的學(xué)習（Multiview learning），得到最優(yōu)解。每個模型的權(quán)重都是通過學(xué)習獲得的。

總的來說，我們是要考慮局部、全局、時間、空間的關(guān)系，綜合來填補缺失值。這個方法可以認為是目前在時空數(shù)據(jù)差值里面最好的方法，幾乎在所有的方法里比較過是最好的。只要大家以后做傳感器，做時空數(shù)據(jù)的時候，拿到數(shù)據(jù)第一步發(fā)現(xiàn)缺，你要填，就用這個方法。

城市數(shù)據(jù)管理

回到我們的城市計算第二個層面，剛剛講了城市感知層面，我們要看城市數(shù)據(jù)管理。要管好城市大數(shù)據(jù)就是三方面的東西，第一，時空數(shù)據(jù)，這是時空的屬性，不是一般的文本，也不是視頻。第二，就是這種增強性的云平臺，不是普通的云平臺。第三，時空的索引，就是查詢和檢索算法。

我為什么要講數(shù)據(jù)管理呢？今天是機器學(xué)習的論壇，講數(shù)據(jù)管理干什么呢？其實在真正的場景里面，如果沒有這一層，很多機器學(xué)習的算法可能只能停留在論文上，很難在真實系統(tǒng)落地，數(shù)據(jù)管理的人本身跟機器學(xué)習的人應(yīng)該有很好的合作關(guān)系，不是敵人，應(yīng)該有機的合作。通過后面的這些例子，大家就會明白了，真正想把機器學(xué)習從理論變成實際，解決問題的話，還需要有數(shù)據(jù)管理的知識，要對平臺有了解。

我們城市里面數(shù)據(jù)可能成千上萬個，但是根據(jù)數(shù)據(jù)的結(jié)構(gòu)來分的話其實就兩種，一個是點數(shù)據(jù)，另一個是網(wǎng)數(shù)據(jù)。

根據(jù)數(shù)據(jù)關(guān)聯(lián)的時空屬性的變與不變與否，可以分成三類：1）是時間和空間都不變的，屬性都不變，靜態(tài)數(shù)據(jù)；2）是空間不變、時間變；3）時、空都變。

現(xiàn)在聽起來比較抽象，所以說2×3是6組數(shù)據(jù)，你們可以想，你心目中所有的數(shù)據(jù)，我都會告訴你在哪兒。比如說我們的興趣點數(shù)據(jù)，什么叫興趣點？一個車站、一個酒吧、一個學(xué)校就是興趣點，有坐標、有地址、有名稱，一旦某個商場建好之后空間就不變了，有多少層樓、多少個窗戶也是固定的，所以時間和空間都是靜態(tài)的，這是點數(shù)據(jù)。

我們把傳感器放在好，位置不變，是個點，可是每個讀數(shù)隨著時間變化，屬于空間不變、時間變。

時間和空間都變是什么呢？就像我們?nèi)ヲT摩拜單車，去打Uber，坐滴滴，用戶的數(shù)據(jù)就屬于時空散點數(shù)據(jù)，比如2點有用戶請求了，2點半有用戶在另一個地方請求了，位置和位置是變化的，并且時間也在變。

什么是網(wǎng)絡(luò)數(shù)據(jù)呢？路網(wǎng)是靜態(tài)的，這個不變，時空都是靜態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)，一旦把交通流量疊加上來之后，就變成了空間靜態(tài)，但是時間動態(tài)的數(shù)據(jù)。什么是時間和空間都動態(tài)并且網(wǎng)絡(luò)結(jié)構(gòu)信息呢？就是軌跡。我們可以想象一下，滴滴的軌跡，摩拜的軌跡，都屬于這個數(shù)據(jù)，人類手機信號也屬于這類數(shù)據(jù)，我們騎行也屬于這個數(shù)據(jù)。

所以在摩拜和滴滴里面有兩個數(shù)據(jù)，一個是用戶請求數(shù)據(jù)，一個是騎行數(shù)據(jù)和開車數(shù)據(jù)。你隨便想，任何一種數(shù)據(jù)都能放到這六種之一，為什么定義六種？因為不希望拿1千種數(shù)據(jù)，做1千個模型，1千種算法，這樣我的系統(tǒng)沒辦法承擔。一旦定義好這六種之后，可以對每種數(shù)據(jù)設(shè)定特定的管理算法、挖掘算法和機器學(xué)習算法，一旦有了數(shù)據(jù)之后，就能用這種方法套進去去做。這里面軌跡數(shù)據(jù)是最難的，是信息量最豐富的，人類的出行，打電話的記錄，車的記錄，飛機的記錄，候鳥飛翔，颶風移動，都屬于軌跡數(shù)據(jù)，因為時間、空間都在變。

講完數(shù)據(jù)之后，講講平臺。異構(gòu)、多源、多模，是三個不同的東西。異構(gòu)就是結(jié)構(gòu)和非結(jié)構(gòu)的；多源就是來自于不同的領(lǐng)域和數(shù)據(jù)源（比如氣象和交通）；多模，就是有文本的、影像的、語音的。在城市大數(shù)據(jù)里面，這三個是全部具備的，那我們也會同時處理這些東西。我們的應(yīng)用不是城市級別的，不是說某個攝像頭放在一個地方，或者在一條路上，那不叫城市計算。要做就是整個城市規(guī)模全做，需求量就是上百萬級、上千萬級用戶規(guī)模，這種大的應(yīng)用場景，這么多的數(shù)據(jù)，沒有好的平臺是做不到的，所以我們首先就會想到用云計算平臺。但是非常抱歉的告訴大家，現(xiàn)在不管哪一家公司的云計算平臺，都不能很好的支持時空大數(shù)據(jù)，也就是我們城市大數(shù)據(jù)，為什么呢？

有三個原因：

• 第一，時空數(shù)據(jù)的結(jié)構(gòu)跟文本、圖像是非常不一樣的。大家可以想象我們拍了一個照片之后，這個照片始終是20K，拍的時候20K，永遠是20K，不會說隨著時間的變化不停的在變。但一輛車的軌跡在開車的過程中是不斷增加的，而且軌跡中兩個點不能隨便交換，不像我們一般記錄學(xué)生成績，把兩個學(xué)生成績兩行交換一下，并不能影響這個表格的準確性，時空數(shù)據(jù)就不能交換。

• 第二，我們以前查詢文本的時候，可以把包含關(guān)鍵詞的文本拿出來，但是我們做時空數(shù)據(jù)查詢的時候，往往是靠一個時空范圍，比如說查找我周邊最近2分鐘內(nèi)空駛的出租車，查找過去兩分鐘所有這個樓周邊的摩拜單車哪個是空的，這都是空間加時間范圍查詢，它不是一個Keyword Match的問題。甚至比如說在開車的過程中查找最近的加油站在哪里，車的位置還在變的，這都是在云計算平臺里都不直接支持。

• 第三，真正要做城市大數(shù)據(jù)項目的時候，你發(fā)現(xiàn)絕對不是只用一種數(shù)據(jù)，會用到多種數(shù)據(jù)，而且還要把多種數(shù)據(jù)的知識融合在一起。要融合多源數(shù)據(jù)的話，先不把各類數(shù)據(jù)管理好，不把它有機的索引在一起，到時候根本來不及做快速融合的問題，這就叫混合式索引，數(shù)據(jù)和數(shù)據(jù)關(guān)聯(lián)起來，把不同領(lǐng)域數(shù)據(jù)融合在一起。

這三個技術(shù)在現(xiàn)在的云平臺里面都是缺失的。

基于這樣的挑戰(zhàn)，2015年在貴陽市，貴陽是城市大數(shù)據(jù)示范基地，我們落地了中國第一個真正意義上的城市大數(shù)據(jù)平臺。

首先，我們定義了六種數(shù)據(jù)模型，剛剛介紹過，根據(jù)數(shù)據(jù)結(jié)構(gòu)、時空屬性變與不變，2*3=6種模型，不管什么數(shù)據(jù)，都能用這六種模型中的一種把數(shù)據(jù)裝進去。我們利用了Azure本身的存儲機制，我們并不是什么都自己做，全部自己做沒有必要，我們是用這個來增強。這個很重要，我們在這個層面上加入了一個中間層，我們針對不同的數(shù)據(jù)結(jié)構(gòu)設(shè)計了空間索引和時間索引算法，以及針對于多源數(shù)據(jù)之間的跨域管理做了混合式索引，把時空索引算法集成到 Storm、Hadoop、Spark里面去，向上提供API給我們的機器學(xué)習算法來用，使得我們的機器學(xué)習算法能夠快速的訪問大規(guī)模數(shù)據(jù)。如果你沒有這個，你發(fā)現(xiàn)你真的上大系統(tǒng)的時候，我們連特征提取都還沒做，這個任務(wù)的時間期限就到了，等不及你了。因為很多時候就是1秒鐘、2秒鐘就給我一個結(jié)果出來，如果我們光做特征提取就需要花了一兩個小時，模型怎么上線，所以必須要有平臺來支持。這里邊既有分布式，也有索引，以前大家都說，我們有分布式系統(tǒng)了，不要索引了，那是不對的，我們可以結(jié)合在一起。有的時候你用100臺機器學(xué)習做的事情，我可能2臺機器就能做，因為有了索引和分布式的結(jié)合。

為了看平臺的規(guī)律，給大家看幾個例子。

這個是在貴陽市布充電樁的例子。假設(shè)根據(jù)過去一年車的軌跡信息，我們在這個區(qū)域內(nèi)放五個充電樁，我應(yīng)該放在哪五個路口，使這五個路口加在一起，覆蓋的車的數(shù)量最大化，我強調(diào)一下，我們不是找最熱門的前五個路口，沒有意義，因為可能最熱門的前五個路口都挨著，經(jīng)過第一個路口就經(jīng)過第二個路口，我是說五個路口加在一起覆蓋的車總數(shù)最大化，就是不重復(fù)的車最大化。

以前做這個工作的時候，一輪結(jié)果計算需要8個小時到一天，因為計算量非常大?，F(xiàn)在有個平臺，3秒鐘以內(nèi)做出來，為什么需要做這么快呢？這又回到行業(yè)了，我們知道真正布充電樁的時候有很多因素要考慮，還有很多專業(yè)的要求，比如說這邊是不是有空地，這周邊有沒有商場，有沒有飯店來容納我們的人，我們充電2—3個小時人去哪里，不能讓他蹲在馬路邊，這些條件不符合的時候，可以允許用戶把這某個推薦的點刪掉，保留其他幾個點，然后讓算法回去再算，直到我得到一個滿意的結(jié)果為止。

這個其實是變成一個新的概念——人機學(xué)習。新的時代已經(jīng)是人的智能加機器智能合在一起。要實現(xiàn)人機智能，一定要提供一個交互的方法，把人的智能帶進去。這個例子里面就是，我們先給算法一些簡單規(guī)則，讓算法找到一些初始的結(jié)果，讓行業(yè)專家去看這些結(jié)果，用他的經(jīng)驗去判斷這個點是否合適，需要刪除掉還是加一個點，這樣把人的知識和機器的知識融合在一起，同時把數(shù)據(jù)科學(xué)知識跟專業(yè)行業(yè)知識融合在一起。

這非常重要，往往我們做大數(shù)據(jù)、做機器學(xué)習的時候到會遇到最后一步落地困難的問題，我們只有數(shù)據(jù)科學(xué)知識，缺少行業(yè)知識，但真正解決問題兩者是缺一不可。行業(yè)的人往往不懂機器學(xué)習。此外，行業(yè)專家心中有很多復(fù)雜條件，他不一定能很好的量化和表達出來。此時，利用機器學(xué)習驅(qū)動的交互可視分析的方法可以彌補兩者之間的鴻溝。

正是因為要通過迭代、交互才能實現(xiàn)人機融合，保證算法執(zhí)行的效率和性能就變得很重要。你想想，如果我們給算法一個反饋，要等一天才能看結(jié)果，人怎么能跟機器交互呢。只有像視頻里那樣，專家給出反饋，算法馬上出結(jié)果，才能做到真正的吧人機智能交互和融合。要想獲得這樣的性能，剛才展現(xiàn)的那個城市大數(shù)據(jù)平臺就變得必不可少。

這個問題剛剛說應(yīng)用是在充電樁的選址，實際上廣告牌的選址是一樣的。很多時候說我們只有有限的錢放廣告牌，我們放在哪幾個路口使得覆蓋最大化呢。跟我前面講的救護車那個不一樣，那個是時間最優(yōu)化，這是一個覆蓋范圍最優(yōu)化的問題。

沒有平臺，別想交互，別想跟人機智能結(jié)合，那我們也解決不了實際的行業(yè)問題，因為你拿這個結(jié)果給專家看的時候，我們還有很多因素沒考慮呢，這個初步的結(jié)果可能根本沒用。所以這也是一個行業(yè)知識跟機器學(xué)習結(jié)合的例子。

關(guān)于鄭教授分享課報道的其他部分，敬請期待雷鋒網(wǎng)的后續(xù)報道。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。