2
| 本文作者： 亞萌 | 2016-11-24 14:51 |
編者按：本文作者 Andrej Karpathy，由閱面科技翻譯整理。
卷積神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的，它能在你的個(gè)人照片里識(shí)別出物體，地點(diǎn)和人物，又能在自動(dòng)駕駛汽車?yán)锬茏R(shí)別出路標(biāo)，行人和交通燈，還能在航空影像中識(shí)別出莊稼，森林和道路，在醫(yī)療圖像中識(shí)別出多種異常，諸如此類，不勝枚舉。在這些嚴(yán)肅的問題之外，這種高大上的視覺識(shí)別模型也可以用在消遣和娛樂上，博眾一笑。
在接下來我要給大家介紹的這個(gè)趣味實(shí)驗(yàn)中，我們要做這樣一件事：我們從網(wǎng)絡(luò)中收集了2百萬張自拍圖，并將它們作為一個(gè)具有1億4千萬個(gè)參數(shù)，當(dāng)今世界最先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，來訓(xùn)練一個(gè)分類器用以識(shí)別好的自拍和差的自拍。這么做的原因僅僅是因?yàn)檫@很簡單，而且我們也能輕松實(shí)現(xiàn)。讀完本文，你將會(huì)學(xué)到如何自拍的法門。
在我們深入介紹這個(gè)實(shí)驗(yàn)之前，我們先來簡單介紹一下卷積神經(jīng)網(wǎng)絡(luò)是什么，這樣能讓更多的受好奇心驅(qū)使閱讀本文的讀者不至于始終處于云山霧罩的狀態(tài)。用通俗一點(diǎn)的話來說，卷積神經(jīng)網(wǎng)絡(luò)是一把大錘，而計(jì)算機(jī)視覺問題不過是一些釘子。假如你在2015年聽說過或者閱讀過一些關(guān)于計(jì)算機(jī)如何識(shí)別圖像或者視頻中的物體的文章，大部分文章都會(huì)提到卷積神經(jīng)網(wǎng)絡(luò)。下面就是一些例子：
卷積神經(jīng)網(wǎng)絡(luò)眾多成功案例中的一部分。從上到下，從左到右依次是：街景圖片中識(shí)別門牌號(hào)，醫(yī)療圖像中識(shí)別壞東西，中文識(shí)別，路牌識(shí)別以及人臉識(shí)別。
卷積神經(jīng)網(wǎng)絡(luò)恰好有著一段有趣的背景故事。卷積神經(jīng)網(wǎng)絡(luò)最早是由Yann Lecun等人于上世紀(jì)80年代發(fā)展出來的技術(shù)（當(dāng)然，還是基于前人，像是Fukushima的工作）。當(dāng)時(shí)的卷積神經(jīng)網(wǎng)絡(luò)被叫做LeNet 1，其中一個(gè)有趣的應(yīng)用是在1993年用來識(shí)別數(shù)字?？上У氖?，這類模型并不被當(dāng)時(shí)的計(jì)算機(jī)視覺界接受，因?yàn)榇蠹移毡檎J(rèn)為這些模型沒辦法處理“真實(shí)世界”中的海量圖片。
這種觀念一直到2012年才被扭轉(zhuǎn)過來，那一年開始我們總算有了足夠的計(jì)算能力（特指GPU計(jì)算）以及足夠的數(shù)據(jù)（ImageNet），使得我們能夠真正地將這類模型應(yīng)用到大規(guī)模的圖像上。首先取得突破的是Alex Krizhevsky，Ilya Sutskever和Geoff Hinton的工作，他們?cè)?012年的ImageNet挑戰(zhàn)賽（把它當(dāng)成計(jì)算機(jī)視覺界的世界杯即可）上取得了壓倒性的勝利（16.4%的錯(cuò)誤率，遠(yuǎn)低于第二名的26.2%的錯(cuò)誤率）。
由于過去幾年的ImageNet挑戰(zhàn)賽是由Fei-Fei Li的實(shí)驗(yàn)室組織的，恰好我就在她實(shí)驗(yàn)室工作，因此我得以親眼見證了這一歷史的轉(zhuǎn)折點(diǎn)。我還記得當(dāng)Hinton組的結(jié)果提交上來后，實(shí)驗(yàn)室的一個(gè)妹子那一臉什么鬼的表情（因?yàn)閷?shí)在太強(qiáng)了）。后來，我們大家都注意到了這個(gè)結(jié)果，紛紛站了起來，從實(shí)驗(yàn)室的一頭走到另一頭，試圖去弄清楚剛才發(fā)生的一切。
在接下來的幾個(gè)月中，卷積神經(jīng)網(wǎng)絡(luò)從一個(gè)備受質(zhì)疑的晦澀模型一躍成為了計(jì)算機(jī)視覺界的香餑餑，幾乎所有新發(fā)表的計(jì)算機(jī)視覺論文都講其作為核心模型。ImageNet挑戰(zhàn)賽也反映出了這個(gè)趨勢(shì)——2012年的時(shí)候，只有Hinton一家用卷積神經(jīng)網(wǎng)絡(luò)模型參賽，在那之后的2013年和2014年挑戰(zhàn)賽中，幾乎所有的參賽者都采用了卷積神經(jīng)網(wǎng)絡(luò)模型。另一個(gè)有趣的現(xiàn)象是，每一年的冠軍小組都立刻被某一公司吸納。
這幾年里，比起2012年的AlexNet（這些模型名稱），我們見到了更加完美，簡潔并且處理更大規(guī)模的模型。2013年是ZFNet，2014年是GoogLeNet（這是Google版的LeNet，）和VGGNet?？傊F(xiàn)在我們知道卷積神經(jīng)網(wǎng)絡(luò)有如下優(yōu)點(diǎn)：
簡單：同一個(gè)操作在原始圖像上會(huì)被一遍一遍的重復(fù)數(shù)十次。
快速：在幾十毫秒內(nèi)處理一個(gè)圖像。
有效：他們的工作原理在某些方面和我們組的視覺皮層工作很類似。
那么，卷積神經(jīng)網(wǎng)絡(luò)模型到底是怎么做的呢？如果你看一下模型的細(xì)節(jié)，你將會(huì)發(fā)現(xiàn)一種極為簡潔的計(jì)算思想被重復(fù)了一遍又一遍。下面這張動(dòng)圖描述了一個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)的整個(gè)計(jì)算過程：
ConvNet推理過程的說明
在最左邊是我們的輸入，原始的圖像像素，我們可以用一個(gè)3維矩陣來表示它。例如，一個(gè)分辨率為256x256的圖像可以用一個(gè)256x256x3的矩陣來表示（這里的3表示RGB三個(gè)顏色）。接下去，我們就開始做卷積，聽上去很神奇，但實(shí)際上就是我們用一個(gè)小型濾波器從圖像的一頭滑動(dòng)到另一頭，一行滑動(dòng)到另一行。不同的濾波器對(duì)圖像中不同的特征有不同的反應(yīng)：有一些濾波器看到一個(gè)很小的水平邊緣就會(huì)很激動(dòng)，還有一些會(huì)對(duì)紅色的區(qū)域很敏感，等等等等。
假設(shè)，我們有10種不同的濾波器，通過這種方式我們可以將原始（256，256，3）的圖像轉(zhuǎn)換成另一個(gè)（256，256，10）的“圖像”。在這個(gè)經(jīng)過變換后的“圖像”中，我們已經(jīng)將原始圖像中的信息舍去了，留下的是原始圖像每一個(gè)位置上對(duì)這10個(gè)濾波器的響應(yīng)。這就好像是我們將原始圖像的3個(gè)顏色通道（紅綠藍(lán)）變成10個(gè)濾波響應(yīng)通道（在動(dòng)圖中，原始圖像的右側(cè)第一列就是經(jīng)過變換后的圖像）。
上面解釋了原始圖像右側(cè)第一列是怎么來的，那么，后面這些列又是怎么出來的呢？很簡單，繼續(xù)用濾波器對(duì)第一列的結(jié)果進(jìn)行濾波得到第二列，對(duì)第二列濾波得到第三列，以此類推。不同的列會(huì)使用不同的濾波器組合對(duì)上一列進(jìn)行操作，目的是漸進(jìn)地去發(fā)現(xiàn)越來越復(fù)雜的視覺模式，而最后一組濾波器則是用來計(jì)算圖片的視覺分類概率（是汪星人還是癩蛤?。．?dāng)然，中間省略了一些細(xì)節(jié)，只保留了基本思想：將卷積進(jìn)行到底。
剛才介紹了卷積神經(jīng)網(wǎng)絡(luò)就是一個(gè)大型濾波器疊濾波器的集合。一個(gè)問題是，我們?cè)趺粗涝撚檬裁礃拥臑V波器組合才能達(dá)到目的呢？實(shí)際上我們并不知道——最開始的時(shí)候我們完全隨機(jī)地選擇濾波器，然后一遍遍地訓(xùn)練他們，讓他們變得更好。
下面開始舉例，我們給一個(gè)采用隨機(jī)濾波器的卷積神經(jīng)網(wǎng)絡(luò)輸入一張圖片，最后它會(huì)告訴我們這個(gè)圖里有54%的可能含有狗。接著，我們可以告訴它，這實(shí)際是一只癩蛤蟆，通過一個(gè)數(shù)學(xué)過程，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)會(huì)小幅度地去調(diào)整它使用的濾波器，目的是為了當(dāng)它下一次看到相同的圖是會(huì)告訴我們這張圖更可能有癩蛤蟆。我們要做的就是用數(shù)百萬的圖像重復(fù)這個(gè)過程數(shù)千萬次甚至數(shù)億次。下面就是見證奇跡的時(shí)刻，在卷積計(jì)算過程中所使用的不同濾波器會(huì)漸漸地調(diào)整自己去響應(yīng)圖像中重要的東西，例如眼睛，頭部，甚至整個(gè)身體等等。
上圖是從一個(gè)經(jīng)過訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)中隨機(jī)選出12個(gè)濾波器，可以看看它們對(duì)圖像的什么部分響應(yīng)強(qiáng)烈。圖是從Matthew Zeiler的Visualizing and Understanding Convolutional Networks里借來的。這里展示的濾波器處于卷積的第三階段，看上去像是在尋找蜂窩狀的模式，或者是輪子/軀干/文字等等。再次強(qiáng)調(diào)，這并不是我們特意設(shè)置的。一切都是模型自發(fā)形成的，我們只能來檢視。
另一組非常優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)可視化的例子可以從Jason Yosinki等人的Deepvis項(xiàng)目中找到。其中包含了一個(gè)非常有趣的演示，用你電腦上的攝像頭來實(shí)時(shí)地演示卷積神經(jīng)網(wǎng)絡(luò)的工作原理，Jason在下面這個(gè)視頻中還配上了非常棒的解說：
深度可視化工具箱
總結(jié)一下，卷積神經(jīng)網(wǎng)絡(luò)的整個(gè)訓(xùn)練過程就好像是給一個(gè)小孩看許多物體的圖像，然后小孩要從中逐漸發(fā)現(xiàn)該在圖像中看什么以及怎么把這些物體找到。假如你更喜歡技術(shù)一點(diǎn)說法，那卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)從圖像像素到分類概率的函數(shù)，濾波器是它的參數(shù)，我們采用隨機(jī)梯度下降法來優(yōu)化一個(gè)分類損失函數(shù)。如果你對(duì)什么人工智能，大腦，奇點(diǎn)著迷，那可以把這個(gè)函數(shù)說成是一個(gè)“深度神經(jīng)網(wǎng)絡(luò)”，這些濾波器是神經(jīng)元，而整個(gè)卷積神經(jīng)網(wǎng)絡(luò)就是一種自適應(yīng)的模擬視覺皮層組織。
卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)就是你可以輸入任何圖像，只要你喜歡（帶上一些標(biāo)簽），然后它們就開始學(xué)習(xí)如何識(shí)別這些標(biāo)簽了。在這個(gè)例子里，我們將一些好的自拍和差的自拍作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，接著它將神奇的發(fā)現(xiàn)如何區(qū)分一張自拍照是好的還是差的。讓我們先搞點(diǎn)自拍圖：
我寫了一個(gè)小腳本來抓取帶有#selfie標(biāo)簽的圖片。最后我抓了大概500萬張圖片（在卷積神經(jīng)網(wǎng)絡(luò)中，圖片總是多多益善）。
我用另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)將這500萬張圖中不帶人臉的圖片扔了，最后還剩下200萬張圖片。
接下去就是去挑選哪些自拍是好的，哪些自拍是差的。直觀上講，我們需要去計(jì)算一張自拍有多少人看過，然后將點(diǎn)贊的人數(shù)和粉絲群體的大小用一個(gè)函數(shù)關(guān)聯(lián)起來。首先，我拿了所有的自拍用戶，并將他們按照粉絲的數(shù)量進(jìn)行排序，排序時(shí)，我會(huì)給圖片上每一個(gè)額外的標(biāo)簽加一些些分，因?yàn)轭~外的標(biāo)簽也許能吸引更多的目光。
接下來，我將這些排好序用戶以100為大小分組，根據(jù)點(diǎn)贊的數(shù)量對(duì)這100張自拍圖進(jìn)行排序。這里我只選用了已經(jīng)在網(wǎng)上掛了超過一個(gè)月的圖，目的是得到一個(gè)比較穩(wěn)定的點(diǎn)贊數(shù)。我將排在前面的50張自拍作為好的自拍，排在后50張的自拍作為差的自拍。最終，我們將整個(gè)200萬張圖一分為二，一半是好的自拍一半是差的自拍，然后我們又對(duì)可能看過所有自拍的人數(shù)做了一次歸一化處理。我還將那些粉絲數(shù)量太少或者太多的用戶過濾掉了，還有一些圖片上有太多標(biāo)簽的也被過濾了。
用上面這個(gè)100萬好自拍，100萬差自拍的數(shù)據(jù)集來訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。
到這里，你可能會(huì)反對(duì)我判斷一張自拍是好是差的方法——比如說，有人上傳了一張非常棒的自拍，但是上傳時(shí)間是半夜，因此可能不會(huì)有很多人看到它，那它得到的點(diǎn)贊也就少了，這時(shí)候該怎么辦？你說的對(duì)——我的這種分類方法肯定有問題，不過沒關(guān)系，只要這100萬張好自拍中真正好的自拍更多就行了，卷積神經(jīng)網(wǎng)絡(luò)可以處理這種事情。它不會(huì)因此而迷惑或者氣餒，它只是盡自己的全力去解讀這些輸入。為了讓大家對(duì)區(qū)分好差自拍這個(gè)問題的難度有一個(gè)感性認(rèn)識(shí)，我把一些訓(xùn)練用的圖像貼在下面。假如我給你任意一張圖，你能很準(zhǔn)確的回答它是好自拍還是差自拍嗎？
在我們的訓(xùn)練數(shù)據(jù)中顯示好和壞自拍的示例圖像。 這些將作為數(shù)據(jù)提供給ConvNe
簡單介紹一些實(shí)現(xiàn)細(xì)節(jié)，我用了Caffe來訓(xùn)練這個(gè)卷積神經(jīng)網(wǎng)絡(luò)。我用了一個(gè)在ImageNet預(yù)訓(xùn)練過的VGGNet，并針對(duì)這次的自拍數(shù)據(jù)集精調(diào)了參數(shù)。我用一塊英偉達(dá)K40GPU花了一個(gè)通宵來訓(xùn)練這個(gè)模型。我禁用了模型中的 dropout選項(xiàng)，因?yàn)槲野l(fā)現(xiàn)禁用的結(jié)果更好一些。我還試著用一個(gè)在人臉數(shù)據(jù)集上預(yù)訓(xùn)練的VGGNet，不過結(jié)果并不比ImageNet預(yù)訓(xùn)練的好。最終，模型在測(cè)試集上達(dá)到了60%的準(zhǔn)確率 （比隨機(jī)猜50%的準(zhǔn)確率好一些）。
剛才說道，我們收集了200萬的自拍圖，又根據(jù)它們接受到的點(diǎn)贊數(shù)（對(duì)粉絲數(shù)量做了控制）將他們分成了好的自拍和差的自拍，然后將它們?nèi)舆M(jìn)Caffe來訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。這個(gè)卷積神經(jīng)網(wǎng)絡(luò)將每一張自拍都了“看”數(shù)十次，以此來調(diào)整它使用的濾波器，為了找到一種最佳的方式來區(qū)分好自拍和差自拍。我們沒辦法去確切地檢查它找出來的東西（這些濾波器的參數(shù)總共有1億4千萬個(gè)）。不過呢，我可以用它沒見過的自拍圖問它是好是差，進(jìn)而去理解它是通過什么來判斷一張自拍的好與差的。
我用了5萬張自拍圖作為我的測(cè)試數(shù)據(jù)（這些自拍圖是這個(gè)卷積神經(jīng)網(wǎng)絡(luò)沒見過的）。作為第一個(gè)可視化結(jié)果，下面這張圖里我將這些自拍圖按照從好到差的順序排列出來，最好的自拍在最上面一排，最差的自拍在最下面一排：
從最佳（頂部）到最差（底部）自拍的連續(xù)體，由ConvNet判斷。
挺有趣的，是吧？下面讓我們看看這個(gè)卷積神經(jīng)網(wǎng)絡(luò)認(rèn)為的最好的100張自拍圖（從5萬張圖的測(cè)試集中選出）是什么樣子的：
最好的100張自拍照，由卷積神經(jīng)網(wǎng)絡(luò)判斷
要拍出一張好自拍，有如下要點(diǎn)：
1.首先你得是個(gè)女人. 女性的自拍一致地比男的自拍要好。特別是在前100張好自拍中，無一例外全是女性。
2.其次你的臉得占整個(gè)自拍的三分之一。注意到?jīng)]有，在排名靠前的自拍圖中，臉的位置和姿態(tài)出奇的一致。臉總是占據(jù)了整個(gè)圖片的1/3，臉要微微側(cè)過來一些，位置要在圖片的中上方。
3.將你的額頭截掉。至少對(duì)于女性來說它看起來像一個(gè)非常流行的策略。
4.展示你的長發(fā)，披肩長發(fā)能給你的自拍加分不少。
5.臉部要過飽和。光線過飽和在好自拍中經(jīng)常出現(xiàn), 這能讓臉部看來更加光滑白皙。
6.要使用濾鏡。黑白照看起來能加分, 大部分排名靠前的自拍看起來都用了某種濾鏡是的整個(gè)圖片帶有淡出效果并能降低對(duì)比度。
7.加上邊框。好自拍通常都會(huì)加上水平或者垂直的白邊。
有趣的是，這里的有些原則在男性身上就行不通了。我從前2000張自拍中找出了所有男性自拍，如下圖：
從2000自拍中選出來的幾個(gè)最好的男性自拍
很明顯，額頭截?cái)嗟那闆r沒有出現(xiàn)。相反，大部分自拍都會(huì)用稍廣的角度將整個(gè)腦袋都拍進(jìn)去，還要露出肩膀。還有，大多數(shù)的男性頭發(fā)稍長，發(fā)型浮夸，還精心把頭發(fā)往上梳。不過，臉部過飽和這個(gè)特點(diǎn)還是能夠看得出來。
看過了好自拍，讓我們?cè)賮砜纯磯淖耘氖巧稑拥?。這次，我把圖片縮的很小讓大家看不出來是誰，因?yàn)槲业哪康氖亲尨蠹野l(fā)現(xiàn)降低自拍質(zhì)量的普遍模式是什么，而不是讓大家看看拍了差自拍的都有誰。下圖是卷積神經(jīng)網(wǎng)絡(luò)認(rèn)為比較差的自拍，很顯然，它們的點(diǎn)贊數(shù)一定很低：
由卷積神經(jīng)網(wǎng)絡(luò)判斷出的最糟糕的300萬自拍
即便在這么低的分辨率下，我們還是能看出一些道道的。自拍時(shí)千萬不要:
1.在弱光環(huán)境下自拍。非常明顯, 那些很暗的照片 (通常也帶有大量噪點(diǎn)) 肯定會(huì)被卷積神經(jīng)網(wǎng)絡(luò)打一個(gè)很低的分?jǐn)?shù)。
2.把你的腦袋放太大。 這一條大概是因?yàn)闆]人愿意湊這么近看你的臉。
3.拍合照。和小伙伴們一起自拍是很有趣，不過這會(huì)讓你的自拍減分。構(gòu)圖要簡潔，你一個(gè)人出鏡就夠了，但也別占據(jù)鏡頭太多。
4.最后，區(qū)分一張自拍的好與差，很大程度上是看圖片的風(fēng)格，而不是看本人長得好不好。還有一點(diǎn)讓我感到欣慰的是，那些露肉很多的自拍并不能讓它們的得分變高。最開始的時(shí)候，我還擔(dān)心這個(gè)屌炸天的卷積神經(jīng)網(wǎng)絡(luò)會(huì)變成一個(gè)露肉分辨器?？磥硎俏蚁攵嗔恕?/p>
那么作為明星們的自拍又是如何呢？作為最后一個(gè)有意思的實(shí)驗(yàn), 我試著讓這個(gè)卷積神經(jīng)網(wǎng)絡(luò)給一些明星的自拍打個(gè)分。下圖中，得分從上到下，從左至右依次減少：
卷積神經(jīng)網(wǎng)絡(luò)為名人自拍做出的判斷。最有吸引力的自拍：左上方
神奇的是，我們之前總結(jié)出來的一條經(jīng)驗(yàn)規(guī)律（不要拍合照）在這次實(shí)驗(yàn)中不再有效了，像是艾倫·狄珍妮的知名合照，還有一些奧斯卡頒獎(jiǎng)時(shí)候的合照得分都很高，排在了第二排。棒！
另一條經(jīng)驗(yàn)規(guī)律（男的自拍都不行）被克里斯·帕拉特的裸上身自拍（也排在第二排）妥妥地打破了，還有一些男明星的自拍得分也很高，像是丁日的挑眉照，扣扣熊和肥倫的合照（排在第三排）。然而詹姆斯·弗蘭科那近乎限制級(jí)的自拍（排在第四排）卻并沒有讓我們的卷積神經(jīng)網(wǎng)絡(luò)留下很好的印象。
最后強(qiáng)調(diào)一點(diǎn)，圖片的風(fēng)格很重要。有幾個(gè)長得絕對(duì)好看的人依舊排在了榜單的末尾，就是因?yàn)闃?gòu)圖不行，或者是光線不行等等。
我們還嘗試了另一種有趣的可視化方法t-SNE，來展示這些自拍圖。t-SNE是一種非常美妙的算法，由于它非常通用而且高效，我喜歡在幾乎所有數(shù)據(jù)上先試試用這個(gè)來一次。它需要輸入一些東西（這個(gè)例子里就是圖片），然后將他們按照相似相鄰的原則排列。
事實(shí)上，用t-SNE可以排列很多東西，像是Netflix的電影，單詞，Twitter的個(gè)人資料，ImageNet的圖片，任何東西只要量足夠而且可比較就行。在這里，我們將自拍圖按照卷積神經(jīng)網(wǎng)絡(luò)認(rèn)為的相似程度來排列。用專業(yè)術(shù)語來說，我們采用了最后一個(gè)全連接層中的fc7激活的L2范數(shù)來確定每張圖的得分進(jìn)而比較其相似程度。下面是可視化結(jié)果：
自拍 t-SNE可視化
從而大家可以看出自拍圖以一種有趣的方式聚成了組：比如說，左上方是自拍合照，中左方是戴太陽鏡/眼鏡的自拍，左下是大頭照，右上有不少是對(duì)著鏡子來的全身照。我覺得這種現(xiàn)象還挺有趣的。
我們還做了另一個(gè)有趣的實(shí)驗(yàn)，用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)找出一張自拍圖的最優(yōu)裁剪。我們先拍一張照片，隨機(jī)對(duì)其進(jìn)行許多種可能的裁剪，然后把卷積神經(jīng)網(wǎng)絡(luò)認(rèn)為最好的一張選出來。下面是4組實(shí)驗(yàn)結(jié)果，左側(cè)是原圖，右側(cè)是最好的裁剪圖：
四個(gè)對(duì)中的每一對(duì)顯示原始圖像（左）和ConvNet選擇為最佳（右）的圖像
注意到?jīng)]有，卷積神經(jīng)網(wǎng)絡(luò)還是喜歡那種頭占據(jù)圖片1/3大小，額頭被切掉一部分的自拍。有趣的是，在右下這組實(shí)驗(yàn)中，卷積神經(jīng)網(wǎng)絡(luò)覺得沒有人的圖反而好，完全不對(duì)勁了有沒有。下面還有一些類似的例子，卷積神經(jīng)網(wǎng)絡(luò)做出了不講道理的選擇：
原圖在左，裁剪圖在右
在一些行家提問之前，我先回答了：是的，我試過在原始圖像之后，卷積神經(jīng)網(wǎng)絡(luò)之前插入一層空域變換層。我希望能得到了一個(gè)用6個(gè)參數(shù)表達(dá)任意裁剪的模型。不幸的是，這種方法不可行——優(yōu)化有時(shí)候會(huì)卡住，或者任意偏向一個(gè)位置。我還嘗試過對(duì)變換加一些約束，只做放縮和平移，可惜還是沒用。幸運(yùn)的是，如果這變換有三個(gè)有界的參數(shù)，那我們還是可以承受得起全局搜索最優(yōu)解的。
你的自拍能打幾分？
是不是想看看你的自拍能得幾分？我們已經(jīng)將這個(gè)網(wǎng)絡(luò)做成了一個(gè)Twitter機(jī)器人，方便大家來自測(cè)。（這個(gè)機(jī)器人大概只有150行的Python代碼，還包括了所有用到的Caffe/Tweepy代碼）。將你的圖片（或者鏈接）放在推文中，在推文的任意位置加上@deepselfie。
機(jī)器人會(huì)看下你的照片給出一個(gè)打分！為了得到最佳結(jié)果，自拍圖最好是正方形的，否則機(jī)器人會(huì)先將它壓成正方形，這會(huì)讓最終的得分變低。機(jī)器人會(huì)在一分鐘內(nèi)回復(fù)你，如果沒出問題的話（出問題的時(shí)候，等一會(huì)兒再試一次）。
延伸閱讀：
科大訊飛創(chuàng)始人劉慶峰：17年AI從業(yè)經(jīng)驗(yàn)，從這10000字長文中一窺
如何評(píng)價(jià) MXNet 被亞馬遜AWS 選為官方深度學(xué)習(xí)平臺(tái)
谷歌翻譯里程碑：基于單一模型的 Zero-Shot 系統(tǒng)正式上線
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
