雷鋒網(wǎng)1月26日消息  據(jù)外媒 The Verge 報道， Twitter 昨日發(fā)布博客稱，其正在使用神經(jīng)網(wǎng)絡(luò)來自動裁剪圖片、生成預(yù)覽縮略圖，從而讓用戶可以預(yù)覽到他們最感興趣的部分。

圖/The Verge

據(jù)了解，該公司一直在研究這個工具，機(jī)器學(xué)習(xí)研究員 Lucas Theis 和機(jī)器學(xué)習(xí)主管汪澤涵（Zehan Wang）還在博客里詳細(xì)描述了這個方法。雷鋒網(wǎng)了解到，汪澤涵此前曾是倫敦機(jī)器學(xué)習(xí)和視覺處理技術(shù)開發(fā)商 Magic Pony Technology （MPT）的聯(lián)合創(chuàng)始人。2016年6月，Twitter 花費(fèi)巨資將 MPT 收入麾下，隨后王澤漢也加入 Twitter 任職機(jī)器學(xué)習(xí)主管。

經(jīng) Theis 和汪澤涵介紹，一開始他們僅用面部識別技術(shù)來裁剪面部圖像，但是后來他們發(fā)現(xiàn)這項技術(shù)并不適用于風(fēng)景圖像，尤其是圖片中有貓的時候，因為 Twitter 總是會顯示圖像中心，這時出現(xiàn)在預(yù)覽圖里的可能就是一只喵星人的脖子。

就此，他們提出的解決方案是“使用顯著性裁剪”（這里的“顯著性”即代表圖片中最有趣的區(qū)域——不管是面部還是其他事物）。經(jīng)研究表明，在一張圖片里，人們往往最關(guān)注面部、文字、動物和色彩對比度最高的區(qū)域。為了定義好這一點(diǎn)，他們將學(xué)術(shù)研究中的數(shù)據(jù)運(yùn)用到眼球追蹤里，從而以紀(jì)錄人們首先看到的圖像區(qū)域。 Theis 和汪澤涵在博客中寫道：

“這些數(shù)據(jù)可以用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)和其他算法，從而以預(yù)測人們可能會想看到的部分或內(nèi)容。”

圖/The Verge

在這一技術(shù)下，他們研究的這一神經(jīng)網(wǎng)絡(luò)可以在很短的時間內(nèi)找到照片中最有趣的部分，用戶在上傳照片時也就不會發(fā)現(xiàn)延遲。當(dāng)然，這一過程少不了對神經(jīng)網(wǎng)絡(luò)的優(yōu)化。

另外，軟件工程師還使用了一種名為“知識精煉（knowledge distillation）”的技術(shù)來訓(xùn)練算法，從而可快速估算照片中最顯著的部分。雖然其可能需要很長時間才能做出微調(diào)的像素級預(yù)測，但 Twitter 的神經(jīng)網(wǎng)絡(luò)可以提供快速而又更加相似的版本，從而讓用戶可以準(zhǔn)時預(yù)覽照片。

對他們來說，最幸運(yùn)的是——照片預(yù)覽所需的剪裁非常寬泛，只需將圖像縮小到最有趣區(qū)域的三分之一，最終的結(jié)果是可得到速度比原先快 10 倍的神經(jīng)網(wǎng)絡(luò)。

該功能目前正面向所有的 Twitter 用戶（包括PC、iOS和Android用戶）推出，其目的在于取代之前笨拙的預(yù)覽縮略圖。所以，下次如果你在Twitter上看到一個照片預(yù)覽并邀請你點(diǎn)擊時，記得感謝一下神經(jīng)網(wǎng)絡(luò)的魔力。

注：題圖來源于ixdc；Via The Verge，雷鋒網(wǎng)編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。