0
| 本文作者： 恒亮 | 2017-04-17 17:07 |
雷鋒網(wǎng)按：3月初，谷歌在 Google Cloud Next 2017 大會(huì)上對外公布了 Cloud Machine Learning API 更新。此次更新覆蓋了包括計(jì)算機(jī)視覺、智能視頻分析、語音識(shí)別、自然語音處理、機(jī)器翻譯和職位搜索等在內(nèi)的諸多領(lǐng)域，被認(rèn)為是谷歌云近段時(shí)間最大規(guī)模的一次升級。在此次更新中，最受關(guān)注的可能就是能夠進(jìn)行視頻識(shí)別的 Video Intelligence API 了。
在發(fā)布會(huì)上，谷歌云工程師 Sara Robinson 曾針對 Video Intelligence API 登臺(tái)演示了一個(gè)應(yīng)用樣例（演示視頻見文末），用于說明該 API 的具體功能。近日，Sara Robinson 在 GitHub 上公開了該樣例的源代碼，并對 API 本身和樣例的實(shí)現(xiàn)做了簡要說明。現(xiàn)雷鋒網(wǎng)編譯如下，希望對各位開發(fā)者有所幫助。
為了向大家充分展示我們新發(fā)布的 Video Intelligence API 的具體功能，我曾編寫了一個(gè)樣例。目前樣例源碼已經(jīng)上傳到了 GitHub，感興趣的朋友可以在下面的鏈接查看詳情：
通過這個(gè)樣例，我們將看到 Video Intelligence API 的兩個(gè)重要功能：
● 識(shí)別目標(biāo)視頻中每一幀的內(nèi)容；
● 在龐大的視頻庫中搜索當(dāng)前視頻的元數(shù)據(jù)。
總體上說，Video Intelligence API 向開發(fā)者開放了一種接入谷歌預(yù)訓(xùn)練模型的方法，該模型不但可以從宏觀上識(shí)別當(dāng)前視頻中每一幀的具體內(nèi)容，同時(shí)還能給出相關(guān)內(nèi)容的顆粒數(shù)據(jù)（granular data）表述。如下圖所示，假設(shè)視頻在 0:07 的時(shí)間點(diǎn)出現(xiàn)了一只小狗。
則 Video Intelligence API 就可以識(shí)別這只狗，并同時(shí)識(shí)別出整段視頻中所有出現(xiàn)小狗的數(shù)據(jù)幀。以下代碼展示了在一個(gè)標(biāo)簽下的 JASON（JavaScript Object Notation）表述：
{
"description": "Dog",
"language_code": "en-us",
"locations": [ {
"segment": {
"start_time_offset": 7090474,
"end_time_offset": 8758738
},
"confidence": 0.99793893,
"level": "SHOT_LEVEL"
}
這段 JASON 代碼以微秒級的時(shí)間分割展示了該視頻片段，從代碼中可以看到，API 對該數(shù)據(jù)幀的識(shí)別結(jié)果為“dog”，并且標(biāo)明正確率為 99%。在該段視頻的其他相關(guān)片段中，該 API 甚至還能識(shí)別出小狗的具體品種（識(shí)別結(jié)果是 Dashchund，即達(dá)克斯獵狗，正確率為 81%）。
看到這里你可能要問，我可以按照 1fps 的幀率將視頻分解，然后對每一幀數(shù)據(jù)做圖像識(shí)別，不也能達(dá)到同樣的效果么？的確如此。對每一幀數(shù)據(jù)做圖像識(shí)別，在上述 JASON 描述的層面的確能和 Video Intelligence API 達(dá)到一樣的效果，但后者的功能卻不止于此，而這也是 Video Intelligence API 的核心競爭力之一。
除了上述針對每一幀的解釋之外，此次發(fā)布的 Video Intelligence API 還能通過特定的分析模型給出不同視頻幀之間的聯(lián)系和區(qū)別。例如視頻中如果出現(xiàn)了足夠多的禮服和糖果鏡頭，則 API 就可以識(shí)別出這是一段關(guān)于萬圣節(jié)的視頻并標(biāo)記。不僅如此，此次更新的 API 還具有鏡頭變更檢測功能，即可以分辨視頻中的場景轉(zhuǎn)換。通過這一功能，開發(fā)者可以將視頻按場景完全自動(dòng)化地按照內(nèi)容分割成不同的片段，并返回相應(yīng)片段的 JASON 描述，非常方便。
關(guān)于 Video Intelligence API 更詳細(xì)的介紹請參見以下視頻（需科學(xué)上網(wǎng)），視頻中的演講嘉賓是 Video Intelligence API 的產(chǎn)品經(jīng)理和研發(fā)工程師：
以下是本次樣例的原理圖，我在 3 月初的 Google Cloud Next 2017 上曾經(jīng)做過演示。
如圖所示，整個(gè)樣例分為前端（圖片上半部分）和后端（圖片下半部分）兩部分。
關(guān)于后端：本樣例將待處理視頻存儲(chǔ)在谷歌云 Bucket 中，這里我實(shí)現(xiàn)了一個(gè)函數(shù)，每當(dāng)用戶添加一個(gè)新視頻到該 Bucket 時(shí)，該函數(shù)會(huì)被觸發(fā)，一方面檢查文件的合法性（例如是否是視頻文件，文件是否完整等），同時(shí)負(fù)責(zé)將合法的視頻文件傳遞到 API 進(jìn)行分析。這里 API 提供了一個(gè)非常方便的選擇參數(shù)，即用戶可以傳入另一個(gè)谷歌云 Bucket 地址，當(dāng) API 分析完成后，可以將分析結(jié)果，即 JASON 表述存儲(chǔ)在該 Bucket 地址中。我在樣例中即應(yīng)用了這一點(diǎn)，將分析結(jié)果存儲(chǔ)在了另一個(gè)谷歌云 Bucket 中。
前端是我跟另一個(gè)同事 Alex Wolfe 共同完成的，其中用到了 ES6，Sass，Gulp，CanvasJS 等各種客戶端 JS 工具（具體可以參考 GitHub 代碼），實(shí)際上實(shí)現(xiàn)了一個(gè)基于谷歌 App Engine 的 Node.js 應(yīng)用。
最后需要指出的是，除了樣例中的用法外，用戶還可以直接在瀏覽器端直接體驗(yàn) Video Intelligence API，地址如下：
或者用戶也可以在上述鏈接注冊，對 API 進(jìn)行更深度的體驗(yàn)。
以下是關(guān)于文中樣例的視頻演示地址：
來源：medium，雷鋒網(wǎng)編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
