0
| 本文作者： 李尊 | 2016-08-30 18:30 |
聯(lián)合編譯：Blake、高斐
編者注：Michael I. Jordan教授是加州大學(xué)伯克利分校（University of California, Berkeley）電子工程系、計算機(jī)科學(xué)系以及統(tǒng)計系的杰出教授。他在亞利桑那州立大學(xué)（Arizona State University）獲得了數(shù)學(xué)碩士學(xué)位，并且在1985年從加利福尼亞大學(xué)圣地亞哥分校（University of California, San Diego）獲得了認(rèn)知科學(xué)博士學(xué)位。自1988年到1998年，Michael I. Jordan在麻省理工學(xué)院（MIT）任教授，他的研究方向包括了計算學(xué)、統(tǒng)計學(xué)、認(rèn)知及生物科學(xué)，最近幾年集中在貝葉斯非參數(shù)分析、概率圖模型，譜方法、分布式計算系統(tǒng)中內(nèi)核機(jī)及其應(yīng)用問題、自然語言處理、信號處理和統(tǒng)計遺傳學(xué)等問題上（幾乎涵蓋了大部分機(jī)器學(xué)習(xí)中的內(nèi)容）。
Michael I. Jordan教授是美國科學(xué)院院士（National Academyof Sciences）、美國工程院（National Academy of Engineering）院士和美國藝術(shù)和科學(xué)學(xué)院（American Academy of Arts and Sciences）院士。他被數(shù)理統(tǒng)計研究所任命為Neyman Lecturer 和Medallion Lecturer。在2016年，他獲得了IJCAI卓越研究獎。之前的2015年，他獲得了David E. Rumelhart獎；在2009年，他獲得了ACM/AAAI的Allen Newell獎。同時，他是AAAI、ACM、ASA、CSS、IEEE、IMS、ISBA和SIAM的成員。
曾在Michael I. Jordan教授學(xué)習(xí)過的不少學(xué)生已有不少成長為領(lǐng)域中的大牛，包括深度學(xué)習(xí)中的大神、蒙特利爾大學(xué)教授Yoshua Bengio，現(xiàn)任百度美國研究員首席科學(xué)家、斯坦福大學(xué)教授Andrew Ng（吳恩達(dá)），還有學(xué)界大牛斯坦福大學(xué)教授Percy Liang等人。本文是Michael I. Jordan教授在UC Berkeley有關(guān)計算思維、推理思維還有數(shù)據(jù)科學(xué)的演講內(nèi)容整理。
Michael I Jordan
加州大學(xué)伯克利分校（University of California, Berkeley）
如果你是一名來自伯克利的畢業(yè)生，當(dāng)你畢業(yè)之后去硅谷可能會遇到的需求。
老板：“我需要一個大數(shù)據(jù)系統(tǒng)，使用個性化的服務(wù)來替換原來的經(jīng)典服務(wù)?！?/strong>
“這個系統(tǒng)對于任何一個人來說都要良好運(yùn)行，我可以接受一點(diǎn)點(diǎn)錯誤但是不能有那些會讓我們尷尬的愚蠢錯誤?！?/strong>
Michael I Jordan：這意味著要將你的錯誤率降到特別低的程度，如果正確率有99%，那另外1%的用戶遇到那些錯誤也是相當(dāng)龐大的一個數(shù)字。
“它應(yīng)該和原來的經(jīng)典服務(wù)運(yùn)行的一樣快?！?/strong>
Michael I Jordan：不能比原來的服務(wù)慢，而且還要在適當(dāng)?shù)念A(yù)算中。
“當(dāng)我們收集到更多的數(shù)據(jù)時它只能變快，特別是不能變慢?！?/strong>
Michael I Jordan：當(dāng)數(shù)據(jù)量增加時，錯誤率也會相應(yīng)的增大，不一定數(shù)據(jù)越多速度會越快。
“在這個方面會有很多人關(guān)注嚴(yán)隱私層面的問題，這些人里面包含很多不同的客戶。”
數(shù)據(jù)科學(xué)十分要求計算思維和推理思維的完全融合（推理思維出現(xiàn)才300年左右，已經(jīng)開始擁抱各種思想，可以互相融合）
計算思維意味著什么
抽象、模塊化、可擴(kuò)展性、魯棒性等
推理思維意味著什么
在數(shù)據(jù)背后考慮真實(shí)世界的現(xiàn)象問題
考慮到產(chǎn)生數(shù)據(jù)的采樣模式
開發(fā)程序?qū)臄?shù)據(jù)“向后”反推到底層現(xiàn)象
計算科學(xué)與統(tǒng)計中的核心理論是分別發(fā)展的，存在一個油與水的問題(互不相容的因素)
核心統(tǒng)計理論中沒有運(yùn)行時間和其它計算資源的位置
核心計算理論中沒有統(tǒng)計風(fēng)險的位置
人們一般不愿意他們的個人數(shù)據(jù)在不受控制的情形下被使用，同時會擔(dān)心他們的隱私將會損失多少。
“隱私損失”能夠進(jìn)行量化
我們想要將隱私損失與我們能從“數(shù)據(jù)分析”中所得的價值進(jìn)行交易
問題就變成了將這些價值進(jìn)行量化并將其與隱私損失并列在一起
疑問——數(shù)據(jù)庫——私人數(shù)據(jù)庫
計算思維，但不是推理思維（舉例：數(shù)據(jù)給出的是人們的年紀(jì)、身高、體重以及血壓，是否應(yīng)該他們藥物治療，他們還能活多久？）
將兩者融合起來
隱私碰上推理問題
讓n來表示數(shù)據(jù)點(diǎn)的量，d來表示參數(shù)空間的維度，a表示不同的隱私參數(shù)
原理：如果我們將n替換成有效地樣本大小，隱私意識極大極小風(fēng)險與經(jīng)典的極大極小風(fēng)險相同
舉例：患者上醫(yī)院的估計原因
藥物濫用入院治療的患者
對引發(fā)患病率不同的物質(zhì)預(yù)估
非隱私觀察：人們有時不想分享一些隱私數(shù)據(jù)，對此，我們應(yīng)當(dāng)通過什么辦法進(jìn)行隱私數(shù)據(jù)分析？
觀點(diǎn)1：增加重尾噪音，以獨(dú)立噪音（例如，拉普拉斯機(jī)制）為例，通過這種途徑，便能夠獲得一手?jǐn)?shù)據(jù)
從集合{0,1}中統(tǒng)一提取隨機(jī)向量v
統(tǒng)一從集合{0,1}中提取v
當(dāng)概率為 時，其中α為微分隱私參數(shù)，選擇接近X的v和1-v
否則，選擇遠(yuǎn)離X的v和1-v
額外數(shù)據(jù)為綠色曲線，對應(yīng)對數(shù)刻度的藍(lán)色曲線反映了該優(yōu)化機(jī)制。綠色曲線和藍(lán)色曲線的走勢顯示出額外數(shù)據(jù)與優(yōu)化數(shù)據(jù)之間明顯的差異。
估計由于不同原因進(jìn)出急診室的比例
數(shù)據(jù)源：濫用藥物預(yù)警網(wǎng)絡(luò)
大數(shù)據(jù)現(xiàn)象使分布式存儲數(shù)據(jù)具有必要性（因而，Michael在數(shù)據(jù)分析系統(tǒng)中對數(shù)據(jù)添加一定的限制，即壓縮(compression)）。
獨(dú)立數(shù)據(jù)收集（例如，醫(yī)院）
隱私
設(shè)置：每一個m智能體的樣本數(shù)量為n
信息傳輸?shù)饺诤现行?/p>
問題：溝通與統(tǒng)計效用之間的權(quán)衡？
驗(yàn)證模式的科學(xué)（例如，粒子物理學(xué)）
推理問題：存在大量干擾性變量
解釋模式的科學(xué)（例如，天文學(xué)，基因組學(xué)）
推理問題：存在大量的假說
衡量人類活動，尤其是在線活動，將產(chǎn)生大型數(shù)據(jù)集，這些數(shù)據(jù)集可用于個性化或用于開拓市場
推理問題：許多不為人知的取樣框架（具有多樣性），復(fù)合式損失函數(shù)
存在計算方面的問題
最為顯著的是，計算方面的問題與推理方面的問題相互影響。
將be 限制在B比特范圍內(nèi)
B約束范圍內(nèi)溝通的最大最小風(fēng)險如上圖所示。
在正態(tài)局部集θ中計算平均估計值
原理：當(dāng)每一個智能體的樣本數(shù)量為n時，最大最小率如上圖所示。
原理：當(dāng)每一個智能體的樣本數(shù)量為n時，B約束范圍內(nèi)溝通的最大最小率如上圖所示。
在處理數(shù)據(jù)科學(xué)問題中出現(xiàn)了許多概念和數(shù)學(xué)上的挑戰(zhàn)
面臨這些挑戰(zhàn)要求在“計算思維”和“推理思維”中建立良好的聯(lián)系
在計算和推理領(lǐng)域的基礎(chǔ)層面建立聯(lián)系
相關(guān)閱讀
深度學(xué)習(xí)鼻祖Geoffrey Hinton幫你入門帶你飛
深度學(xué)習(xí)大神Yoshua Bengio經(jīng)典前瞻演講，幫你打通深度學(xué)習(xí)的任督二脈
深度學(xué)習(xí)元老Yann Lecun詳解卷積神經(jīng)網(wǎng)絡(luò)
秒懂！何凱明的深度殘差網(wǎng)絡(luò)PPT是這樣的|ICML2016 tutorial
PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
via Michael I. Jordan
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
