0
這個夏天，愛奇藝超級網(wǎng)絡(luò)綜藝《中國新說唱》開播以來，話題持續(xù)升溫。在剛剛結(jié)束的首輪戰(zhàn)隊(duì)5進(jìn)4淘汰賽中，殘酷虐心程度讓粉絲尖叫不已。 
讓真愛粉尖叫的背后是對這檔節(jié)目對選手與制作人之間、選手與團(tuán)隊(duì)之間情感走勢引發(fā)的強(qiáng)烈共鳴 。炸裂的粉絲反饋源于 《中國新說唱》高水準(zhǔn)后期制作的有力支撐，據(jù)雷鋒網(wǎng)了解，與以往所有大型綜藝節(jié)目不同的是，愛奇藝成功將AI技術(shù)應(yīng)用在了《中國新說唱》的后期制作的多個環(huán)節(jié)中，成功擴(kuò)充的節(jié)目藝術(shù)創(chuàng)作的邊界，大幅提升了后期制作的效率，實(shí)現(xiàn)了技術(shù)與藝術(shù)創(chuàng)意的無縫融合，提升了節(jié)目的創(chuàng)意水準(zhǔn)。
上周六的首輪戰(zhàn)隊(duì)5進(jìn)4淘汰賽，那吾克熱在最后時刻回心轉(zhuǎn)意與吳亦凡“牽手成功”；潘瑋柏&G.E.M.鄧紫棋也歷經(jīng)萬般糾結(jié)，終于將楊和蘇、王齊銘、周湯豪納入麾下，“攀登隊(duì)”自此集結(jié)完畢。在現(xiàn)場比拼環(huán)節(jié)中，除實(shí)力炸場的“夢之隊(duì)”外，其余兩組戰(zhàn)隊(duì)的表演也各有千秋，雖然彩排過程中狀況頻出，但15位rapper都為了各自的homie以及能在舞臺上留下好的作品而拼盡全力。‘’
如何將戲份的驚心動魄淋漓盡致地呈現(xiàn)，讓粉絲尖叫，對后期制作人員是一個巨大的挑戰(zhàn)。
首先，像《中國新說唱》這樣的大型綜藝采用的是先拍攝后制作的方式，要想有這么豐富的鏡頭，制作團(tuán)隊(duì)前期拍攝時攝影師必然會事無巨細(xì)地拍攝大量素材，外場對rapper進(jìn)行跟拍，現(xiàn)場則是訊道、DV、5D以及穩(wěn)定器等多鐘機(jī)位同時拍攝。不像電影、電視劇的拍攝，真人秀節(jié)目的很多狀況都無法提前預(yù)知，導(dǎo)演也是要拿到拍攝的素材，根據(jù)人物的表現(xiàn)和真實(shí)情況來編排節(jié)目框架。制作團(tuán)隊(duì)面臨的第一個挑戰(zhàn)就是如何在海量的拍攝素材中，找到最精彩的畫面，使其最大呈現(xiàn)節(jié)目的精彩度。 
在此次淘汰賽的后期制作中，拍攝結(jié)束后，工作人員首先會對淘汰賽現(xiàn)場、戰(zhàn)隊(duì)間、以及藝人與選手采訪間的10T左右的海量素材進(jìn)行整理，這是一個極其耗時、“虐心”的工作， DIT人員（數(shù)字影像工程師，digital imaging technician）需要做所有機(jī)位的素材收集、后期素材上線以及將素材整理到時間線上。DIT在此過程中會核對原始素材，檢查音比、音軌與音量是否有問題，甚至?xí)鰳?biāo)記，比如DIT記錄了20軌，會將20軌的視頻素材做標(biāo)記。在這個過程中，會有很多意外情況發(fā)生，比如很多機(jī)位的產(chǎn)生的素材會被漏掉，原始素材遺漏會使得節(jié)目的精彩瞬間被錯過。
素材收集就這么復(fù)雜，后期剪輯更是費(fèi)時費(fèi)力。剪輯助理會幫助剪輯師找詞、整理，把不同場景的素材分類，以便后期剪輯。接下來，剪輯助理會處理所有人物的素材，把具體的人物所有中景近景的反應(yīng)鏡頭全部切出來，放在一條線上，方便剪輯師應(yīng)用。在這里，實(shí)現(xiàn)素材查找、搜索全憑人力花費(fèi)大量時間人肉海量素材。
除此以外，綜藝節(jié)目制作周期緊張，用戶與市場對節(jié)目的創(chuàng)意要求越來越高，而且目前娛樂行業(yè)的內(nèi)容競爭異常激烈，是否擁有爆款網(wǎng)綜對平臺增加用戶粘性、搶奪新用戶非常重要。網(wǎng)綜的制作水平與效率需要達(dá)到極高的水準(zhǔn)才可以讓平臺在競爭中處于不敗之地。在這種狀況下，AI成為提升效率與創(chuàng)意的絕佳方式。
目前，在《中國新說唱》的后期制作中，AI技術(shù)主要用來做智能聽打字幕、精彩畫面查找。
此前，聽打字幕完全是由人力來完成的。
愛奇藝副總裁謝丹銘介紹此次愛奇藝與百度進(jìn)行了深度合作，在《中國新說唱》的后期制作中， 使用ASR（語音識別技術(shù)）用作前期的扒詞，人工聽打字幕和后期快要合片時的字幕。
比如，在這期淘汰賽中，工作人員需要完成14個小時的視頻字幕的聽打工作，按照傳統(tǒng)方式，聽打人員需要數(shù)十個小時聽打與核對工作，但是AI可以自動完成聽打工作，只需要后期制作人員花費(fèi)20個小時左右完成整個工作。 
接下來是精彩畫面查找工作，精彩畫面查找有兩種情況，第一種情況是一種場景中的素材查找：現(xiàn)場觀眾會對選手個人表演產(chǎn)生一定的情感，比如陶醉、微笑。AI會對這些觀眾視頻畫面進(jìn)行識別分析，自動生成標(biāo)簽，最后實(shí)現(xiàn)智能檢索。
第二種情況是在不同場景中一種反應(yīng)的視頻查找。剪輯師會根據(jù)需要，查找其他場景中的反應(yīng)類視頻，比如查找所有場景中吳亦凡的微笑。工作人員只要在系統(tǒng)中輸入“吳亦凡”和“微笑”，就可以找到所有吳亦凡微笑的視頻畫面。對于剪輯師來說，要從海量的素材中找出吳亦凡的“微笑”是很困難的，還很可能漏掉關(guān)鍵素材，而這對于AI來說，卻是舉手之勞。
為了讓3000萬粉絲們不錯過吳亦凡的每一幀微笑，為了讓吳亦凡與那吾克熱“甜”到一起，《中國新說唱》的后期團(tuán)隊(duì)使用AI對視頻素材中反映觀眾情感和不同場景中同一反應(yīng)的視頻進(jìn)行查找，通過人臉識別、表情識別、聲紋識別、景別識別與動作識別技術(shù)，根據(jù)不同的標(biāo)簽組合查找定位視頻，也可以通過“只看TA”功能，根據(jù)確定標(biāo)簽僅查看該視頻中包含當(dāng)前標(biāo)簽的視頻內(nèi)容，工作人員可以在系統(tǒng)中根據(jù)標(biāo)簽“吳亦凡”、“那吾克熱”、“微笑”等標(biāo)簽組合，快速找到所有二人一起微笑的視頻片段。
此外，愛奇藝?yán)镁十嬅娌檎业墓δ苓€能更好地篩選出將導(dǎo)師與選手的畫面，幫助后期剪輯，協(xié)助創(chuàng)意人員來更好地講故事。正是有了AI，我們才能在《中國新說唱》中看到那么多精彩、流暢的故事，更豐富地了解每個選手的特點(diǎn)和魅力。
《中國新說唱》在某種程度上是近年愛奇藝在AI領(lǐng)域布局的一次實(shí)力檢閱。
愛奇藝CTO劉文峰在接受媒體采訪時曾表示，盡管AI 領(lǐng)域擠滿了獨(dú)角獸和創(chuàng)業(yè)公司，但愛奇藝的一大優(yōu)勢在于“愛奇藝擁有最懂娛樂的團(tuán)隊(duì)”?！拔覀冇姓嬲约旱墓ぷ魇胰?chuàng)造內(nèi)容，對內(nèi)容有非常深度的了解，這些可以用來反哺技術(shù)，可以讓技術(shù)進(jìn)一步往前迭代?！彼f。
在以《中國新說唱》為代表的超級網(wǎng)綜上的實(shí)踐表明，有大量的場景和素材積累，這為AI輔助后期制作提供了先決條件與應(yīng)用場景，使愛奇藝AI技術(shù)更好地實(shí)現(xiàn)落地。
目前，愛奇藝融合語音識別、人臉識別、表情識別、聲紋識別、景別識別與動作識別的情感識別技術(shù)趨于成熟，已經(jīng)能夠幫助剪輯人員查找導(dǎo)師以及歌手的反應(yīng)類素材，實(shí)現(xiàn)很高的精準(zhǔn)度。
未來，愛奇藝強(qiáng)大的跨界資源整合能力將促成 新的智能制作系統(tǒng)的設(shè)計(jì)、新網(wǎng)絡(luò)部署，新的硬件設(shè)施的部署等。這一整套的系統(tǒng)的落地將推動中國娛樂業(yè)的制作能力躋身國際水平。
早在2014年，愛奇藝就開始在AI方面布局，并打造了“愛奇藝大腦”，研究各種視頻編解碼、云計(jì)算、多屏融合、視頻搜索、節(jié)目推薦等算法等。目前AI技術(shù)已經(jīng)“無孔不入”滲透到愛奇藝生態(tài)的各個角落：
愛奇藝還成功將AI應(yīng)用在了娛樂生態(tài)的各個角落，實(shí)現(xiàn)娛樂生態(tài)效率最大化提升，比如，在內(nèi)容創(chuàng)作方面，愛奇藝藝匯選角系統(tǒng)可以通過AI算法實(shí)現(xiàn)制片人與藝人需求的精準(zhǔn)匹配，大大提升選角效率，為此前熱播的自制劇《泡沫之夏》選擇了張雪迎作為女主，創(chuàng)下了超13億的微博閱讀量在智能營銷方面，愛奇藝通過AI內(nèi)容識別技術(shù)、受眾特征識別等技術(shù)，幫助廣告主創(chuàng)造出既符合用戶體驗(yàn)、又打動消費(fèi)者的營銷體驗(yàn)。
為了更好的滿足用戶的個性化需求，愛奇藝通過知識圖譜與深度學(xué)習(xí)等AI技術(shù)，優(yōu)化用戶視頻推薦模型，成功研發(fā)出“私人影院”、“短視頻聯(lián)播”等實(shí)用性很強(qiáng)的功能，在用戶體驗(yàn)方面，愛奇藝還通過只看TA功能，讓用戶只看自己喜歡演員的視頻片段，比如在熱播的《延禧攻略》中，點(diǎn)擊“只看 秦嵐 片段”就可以專門看秦嵐的戲份了，AI ABS自制應(yīng)碼流技術(shù)讓用戶隨時看片不卡頓。
今年3月，愛奇藝上市時，創(chuàng)始人、CEO龔宇曾經(jīng)表示，愛奇藝將以“AI+內(nèi)容生態(tài)的雙主線發(fā)展策略進(jìn)入發(fā)展的快車道”。為了打造最“聰明”、“高效”的娛樂生態(tài)、為用戶帶來極致體驗(yàn)，愛奇藝不斷在技術(shù)上投入重金，目前將近 50% 的工作崗位是技術(shù)崗。最新發(fā)布的財(cái)報(bào)顯示，愛奇藝二季度研發(fā)費(fèi)用支出達(dá)到了4.4億元，同比增長50%。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
