雷鋒網(wǎng) AI 科技評論按：本文為亞利桑那州立大學(xué)在讀計(jì)算機(jī)博士生周耀的獨(dú)家投稿，他給大家介紹了一個(gè)基于機(jī)器教學(xué)為基礎(chǔ)的自適應(yīng)交互型眾包教學(xué)框架——JEDI ，它假設(shè)每個(gè) learner 都有指數(shù)型的記憶遺忘曲線，并且能夠保證教學(xué)的有效性，多樣性，以及教學(xué)樣本的質(zhì)量。作者的原論文入選了今年的 KDD 會議。以下為投稿全文。

在很多機(jī)器學(xué)習(xí)的問題中，一個(gè)模型的表現(xiàn)往往取決于標(biāo)注數(shù)據(jù)集的數(shù)據(jù)規(guī)模和標(biāo)注質(zhì)量。很多的監(jiān)督式機(jī)器學(xué)習(xí)（supervised learning）模型，尤其是深度學(xué)習(xí)，都需要大量的標(biāo)注數(shù)據(jù)來進(jìn)行模型訓(xùn)練。比如說，ImageNet 是一個(gè)廣為人知的用于計(jì)算機(jī)視覺領(lǐng)域的圖像識別，物體檢測，物體定位的數(shù)據(jù)集，里面包含了 1400 萬張有人工標(biāo)注和分類的圖片。然而，很多的研究者都比較關(guān)注如何能夠有效的使用這些數(shù)據(jù)進(jìn)行模型設(shè)計(jì)和改良，卻只有比較少的研究在跟進(jìn)如何更有效的獲得這些高質(zhì)量的大規(guī)模標(biāo)注數(shù)據(jù)。目前互聯(lián)網(wǎng)存在的，人為標(biāo)注的大規(guī)模數(shù)據(jù)集通常都會使用眾包（crowdsourcing）技術(shù)來進(jìn)行標(biāo)注。

圖 1：深度學(xué)習(xí)和 ImageNet

相比較于外包數(shù)據(jù)集給專業(yè)公司做標(biāo)注，眾包標(biāo)注的優(yōu)勢有以下幾點(diǎn)：

1.  價(jià)格低廉。很多非職業(yè)的標(biāo)注者（worker）愿意以較低的報(bào)酬在一些平臺上，比如說 AMT（Amazon Mechanical Turk），幫助科研工作者或者公司來標(biāo)注數(shù)據(jù)。

2. 標(biāo)注周期短。因?yàn)閷τ跇?biāo)注質(zhì)量的要求并不是很嚴(yán)格，放置在眾包平臺的數(shù)據(jù)往往可以在短期內(nèi)得到標(biāo)注。

3. 標(biāo)注數(shù)量大。在眾包的標(biāo)注平臺上，一般每個(gè)數(shù)據(jù)（item）都會得到多個(gè)標(biāo)注者的標(biāo)注，因此每一個(gè)數(shù)據(jù)都會得到大量的冗余標(biāo)簽。

 圖 2：眾包標(biāo)注的平臺

圖 2 和圖 3 是一個(gè)典型的眾包標(biāo)注的例子：目標(biāo)是讓 worker 把圖片的類型標(biāo)注為兩類：馴化的貓，野生的貓。如果 AMT 給出了圖 2 中的 item，大多數(shù)的 worker 都可以很容易的給出正確的標(biāo)簽。

圖 3：眾包平臺的標(biāo)注者標(biāo)注一個(gè)簡單的家貓圖片

然而，很多時(shí)候，圖片標(biāo)注也需要一些專業(yè)知識。圖 4 中的貓，對與一些 worker 來講，就不是很好辨別這只貓是馴化過的還是野生的。比如說，和動物打交道比較多的 worker 就可以相對容易的解決這個(gè)標(biāo)注問題，但是一個(gè)不太有經(jīng)驗(yàn)的小女孩就可能給出錯(cuò)誤的標(biāo)簽。因此，對于一個(gè)特定的標(biāo)注問題，worker 和 worker 之間有著標(biāo)注能力的差異，這種差異也會在標(biāo)注的時(shí)候在他們給出的標(biāo)簽上體現(xiàn)出來。這種差異往往會對眾包標(biāo)簽融合的算法帶來一些挑戰(zhàn)。

 

圖 4：眾包平臺的標(biāo)注者標(biāo)注一個(gè)比較難的家貓圖片

目前，比較成熟的眾包標(biāo)簽融合的算法主要有兩類方法：

1. 第一類方法主要是用收集的眾包標(biāo)簽對 worker 的標(biāo)注能力進(jìn)行估計(jì)，然后在標(biāo)簽融合的過程中加大優(yōu)秀 worker 的權(quán)重并且降低較差 worker 的權(quán)重。

2. 第二類方法一般是通過設(shè)計(jì)更好的激勵(lì)機(jī)制（incentive mechanism）來引導(dǎo) worker 提供更優(yōu)質(zhì)的 label。

然而，現(xiàn)在常用的方法都忽略了一個(gè)很重要的事實(shí)，那就是：相比于機(jī)器，人類是非常擅長學(xué)習(xí)一個(gè)新的概念（concept），而且可以很容易的將所學(xué)的概念很好的泛化并且轉(zhuǎn)移到相似的問題中。圖 5 中，人類可以通過看一些插畫展示從而學(xué)會如何正確標(biāo)注家貓和野貓的圖片。因此，一個(gè)更有效的使用眾包標(biāo)注的方式其實(shí)應(yīng)該是在監(jiān)督 worker 標(biāo)注的同時(shí)對他們進(jìn)行教學(xué)（teach）。

圖 5：人類的學(xué)習(xí)和泛化遷移能力

基于機(jī)器教學(xué)的眾包教學(xué)框架——JEDI

為了充分利用 worker 的學(xué)習(xí)能力，我們提出了一個(gè)基于機(jī)器教學(xué)（machine teaching）的眾包教學(xué)框架 JEDI。首先，我們會先介紹什么是機(jī)器教學(xué)？機(jī)器教學(xué)其實(shí)是機(jī)器學(xué)習(xí)的反過程。如圖 6 所示，如果給予一個(gè)數(shù)據(jù)集和一個(gè)算法（e.g. SVM, Logistic Regression），機(jī)器學(xué)習(xí)的目標(biāo)是在模型空間（model space）里學(xué)習(xí)一個(gè)概念（concept）。然后，對于機(jī)器教學(xué)，目標(biāo)概念（target concept）和算法是已知的，最終的目標(biāo)是找到最優(yōu)的數(shù)據(jù)集。關(guān)于數(shù)據(jù)集最優(yōu)的定義可以很多元化，e.g. 數(shù)據(jù)集規(guī)模最小，學(xué)習(xí)速度最快，等等。

 

圖 6：機(jī)器學(xué)習(xí)和機(jī)器教學(xué)

我們提出的 JEDI 眾包教學(xué)實(shí)際上是 adJustable Exponentially Decayed memory Interactive Crowd Teaching 的縮寫，JEDI 的特點(diǎn)是：

1. 自適應(yīng)教學(xué)，每個(gè) worker/learner 的教學(xué)過程都是不同的。

2. 記憶遺忘，每個(gè) worker/learner 都會在學(xué)習(xí)的過程中逐漸遺忘過往所學(xué)。

3. 指數(shù)衰減，記憶遺忘的曲線是呈指數(shù)衰減的。

4. 交互教學(xué)，worker/learner 和 teacher 是有多次交互的。

關(guān)與交互教學(xué)，圖 7 是一個(gè)簡單的例子：

 

圖 7：交互式教學(xué)

如圖 8 所示，JEDI 的每一輪教學(xué)（這里假設(shè)是第 t 輪）包括以下三個(gè)步驟：

1. Teacher 估計(jì) learner 的學(xué)習(xí)進(jìn)度，根據(jù) learner 之前的標(biāo)注反饋得到上一次的學(xué)習(xí)概念，然后 teacher 向 learner 推薦一個(gè)新的樣本進(jìn)行教學(xué)。

2. Teacher 向 learner 展示教學(xué)樣本（隱藏樣本真實(shí)標(biāo)簽），要求 learner 提供他自己對當(dāng)前樣本的標(biāo)注標(biāo)簽。

3. Teacher 展示樣本真實(shí)標(biāo)簽，learner 辨識樣本真實(shí)標(biāo)簽，并結(jié)合樣本本身進(jìn)行概念學(xué)習(xí)。

 

圖 8：JEDI 的交互式教學(xué)示意圖

學(xué)生（learner）模型：

- 每一個(gè) learner 的學(xué)習(xí)過程都假設(shè)遵循梯度下降的規(guī)律：

- 我們進(jìn)一步假設(shè)每一個(gè) learner 對于學(xué)過的 concepts 的可收回度（retrievability）呈指數(shù)型遞減：

老師（teacher）模型：

- Teacher 的目標(biāo)是通過教學(xué)減少 learner 學(xué)到的當(dāng)前概念（current concept）和目標(biāo)概念之間的差異，所以教學(xué)的目標(biāo)方程是：

 

- 這個(gè)目標(biāo)方程可以被分解，具體細(xì)節(jié)請參考論文：

 - 如果我們將預(yù)測錯(cuò)誤的概率簡寫為如下表達(dá)，總體的教學(xué)目標(biāo)可以進(jìn)一步簡化為：

 

JEDI 模型的具體運(yùn)作

JEDI 模型理解：

- 教學(xué)有效性（usefulness）和教學(xué)多樣性（diversity）的平衡（tradeoff）：JEDI 的目標(biāo)函數(shù)經(jīng)過簡化，優(yōu)化問題的目標(biāo)函數(shù)會包括有效性和多樣性兩部分組成。直觀的來講，這個(gè)平衡意味著 JEDI 可以通過最大化下一個(gè)教學(xué)樣本的有效性和最大化教學(xué)樣本之間的多樣性從而引導(dǎo) learner 向著目標(biāo)概念的方向?qū)W習(xí)。

圖 9：教學(xué)有效性和多樣性的平衡

- 探索（exploration）和利用（exploitation）的選擇：如圖 10 所示，如果 teacher 選擇的下一個(gè)教學(xué)樣本 xt 和上一個(gè)教學(xué)樣本 xt-1 有標(biāo)簽相同，我們稱之為利用（exploitation）；如果 teacher 選擇的下一個(gè)教學(xué)樣本 xt 和上一個(gè)教學(xué)樣本 xt-1 有標(biāo)簽不同，我們稱之為探索（exploration）。

圖 10：教學(xué)中的探索和利用

- 教學(xué)樣本的質(zhì)量：如果上一個(gè)教學(xué)樣本 xt-1 是一個(gè)有效性（usefulness）比較低的樣本，JEDI 眾包教學(xué)可以保證下一個(gè)教學(xué)樣本 xt 具有以下特性：

•  在 exploitation 的教學(xué)場景下，teacher 會推薦跟 xt-1 特征非常不同的教學(xué)樣本 xt。因?yàn)?xt-1 的有效性比較低，同一個(gè)類型（class）的但是特征（feature）非常不同的樣本可能會有比較高的教學(xué)有效性。

• 在 exploration 的教學(xué)場景下，teacher 會會推薦跟 xt-1 特征非常接近的教學(xué)樣本 xt。因?yàn)椴煌愋停╟lass）的但是特征（feature）非常接近的樣本可能會有比較有代表性，從而有較高的教學(xué)有效性。

圖 11：JEDI 教學(xué)的教學(xué)樣本

真實(shí)場景的教學(xué)：

- JEDI 教學(xué)在現(xiàn)實(shí)場景中是無法直接估計(jì) learner 學(xué)到的當(dāng)前概念 wt 的，因此我們在 JEDI 里使用原目標(biāo)函數(shù)的下限來解決這個(gè)優(yōu)化問題：

 

- JEDI 教學(xué)也需要樣本的預(yù)測為正類的概率和預(yù)測為負(fù)類的概率作為輸入，這兩個(gè)參量也不是直接給予的，我們使用 harmonic function 來對他們進(jìn)行估計(jì)：

總結(jié)：

JEDI 是一個(gè)基于機(jī)器教學(xué)為基礎(chǔ)的自適應(yīng)交互型眾包教學(xué)框架，它假設(shè)每個(gè) learner 都有指數(shù)型的記憶遺忘曲線，并且能夠保證教學(xué)的有效性，多樣性，以及教學(xué)樣本的質(zhì)量。

具體信息請參考我們的論文：

http://www.public.asu.edu/~yzhou174/ 

源代碼：

https://github.com/collwe/JEDI-Crowd-Teaching 

demo 展示：

http://198.11.228.162:9000/memory/index/ 

視頻講解：

https://www.youtube.com/watch?v=345o0QazwO8&t=4s 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。