0
| 本文作者： 貝爽 | 2020-10-10 17:17 |
“視頻又卡住了”，“噪音太大，聽(tīng)不清你講話”，“這畫質(zhì)也太有年代感了.....”
參加視頻通話時(shí)，你是不是也經(jīng)常會(huì)出現(xiàn)以上狀況？
今年疫情突發(fā)，上班族都體驗(yàn)了一把在線云辦公的快感。
但讓人抓狂的是，每當(dāng)談到核心業(yè)務(wù)時(shí)，視頻通話總會(huì)出現(xiàn)卡頓、噪音等意外狀況。
最近小編發(fā)現(xiàn)一款A(yù)I工具，可以一鍵解決以上所有煩惱。它就是NVIDIA推出的一款Cloud-AI視頻流平臺(tái)——Maxine。
據(jù)了解，它可以在視頻通話中，提供高清畫質(zhì)、噪音消除、目光校正，以及實(shí)時(shí)轉(zhuǎn)錄、翻譯等功能。
更重要的是，它還可以支持電腦、平板、手機(jī)等多種類型的設(shè)備。
疫情雖然已經(jīng)趨于平緩，辦公模式也回到了線下，但視頻通話也成為了一種常用的辦公方式。如NVIDIA加速計(jì)算副總裁兼總經(jīng)理伊恩·巴克（Ian Buck）所說(shuō)：“視頻會(huì)議現(xiàn)在已成為了日常生活的一部分，它可幫助數(shù)百萬(wàn)人工作，學(xué)習(xí)，娛樂(lè)，甚至就醫(yī)?！?/p>
因此，英偉達(dá)推出了這款基于AI的云原生流視頻平臺(tái)Maxine，用于解決當(dāng)前視頻通話存在的最大問(wèn)題。
對(duì)于視頻通話來(lái)講，首先要解決的就是畫質(zhì)、噪音以及流暢度等基本問(wèn)題。從NVIDIA官網(wǎng)了解到，Maxine采用超分辨率（Super-Resolution）技術(shù)，可以實(shí)時(shí)將低分辨率視頻轉(zhuǎn)換為高分辨率視頻。
如圖，使用后的視頻像素被提升至720p。另外，AI平臺(tái)也增加了消除偽影的功能，可以使得畫面更清晰。
其次，Maxine平臺(tái)中的AI模塊可以過(guò)濾掉常見(jiàn)的背景噪音，如敲擊鍵盤、主機(jī)運(yùn)行的嗡嗡聲、家里吸塵器的聲音等。
同時(shí)，為了更好地呈現(xiàn)通話中的你日通，Maxine還提供了實(shí)時(shí)翻譯、轉(zhuǎn)錄字幕的功能。
最重要的是借助其視頻壓縮技術(shù)，可以有效減少數(shù)據(jù)傳輸?shù)膸?。?jù)了解，Maxine的可以將其減少到H.264視頻壓縮標(biāo)準(zhǔn)所需帶寬的十分之一，可以及大地增加視頻的流暢度。
大量用戶同時(shí)使用云視頻服務(wù)時(shí)，會(huì)對(duì)帶寬帶來(lái)很大壓力，因此用戶經(jīng)常出現(xiàn)掉線、卡頓等現(xiàn)象。對(duì)此，NVIDIA高級(jí)產(chǎn)品總監(jiān)安德魯·佩奇（Andrew page）稱，他們的解決方案是將帶寬問(wèn)題變成計(jì)算問(wèn)題，因?yàn)橄啾扔谠黾訋?，增加?jì)算更為容易。
具體來(lái)說(shuō)，Maxine 采用的AI視頻壓縮技術(shù)的核心在于它不是對(duì)整個(gè)屏幕的像素進(jìn)行流式處理，而是分析通話中每個(gè)人的面部關(guān)鍵點(diǎn)，然后在另一端的視頻中重新設(shè)置人臉的動(dòng)畫，如此一來(lái)便可以大幅降低的數(shù)據(jù)的傳輸量，同時(shí)還可以保證視頻傳輸?shù)馁|(zhì)量。
不過(guò)，以上在NVIDIA看來(lái)只是一個(gè)視頻通話工具的基本功能，而它的目標(biāo)是打造更強(qiáng)用戶體驗(yàn)的AI工具。
采用視頻通話，而是不語(yǔ)音通話的一個(gè)基本訴求就是有面對(duì)面對(duì)視的交互感，但通常情況下，為了有更順暢的交流，我們不得不緊盯著攝像頭，而不是屏幕中正在對(duì)話的人。
現(xiàn)在Maxine可以緩解這一尷尬，它通過(guò)重建視頻中的人臉圖像，可以來(lái)讓你看起來(lái)正在與對(duì)方進(jìn)行眼神交流。
換句話說(shuō)，AI通過(guò)自動(dòng)生成一張?zhí)摂M人臉來(lái)自動(dòng)調(diào)整面部的角度，讓視頻通話者看起來(lái)正自由地看著屏幕。
研究人員介紹稱：
“借助計(jì)算機(jī)視覺(jué)技術(shù)，我們可以從多個(gè)角度定位一個(gè)人的頭部，增強(qiáng)面對(duì)面交流的感覺(jué)，這將有助于人們進(jìn)行更自然的對(duì)話?！?/p>
同時(shí)他也介紹稱，這項(xiàng)假臉生成技術(shù)采用的正是生成式對(duì)抗網(wǎng)絡(luò)（generative antivative networks，GAN）。
GAN曾被AI教父Yann LeCun稱作是“過(guò)去10年機(jī)器學(xué)習(xí)中最有趣的想法”，它的原理是讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互競(jìng)爭(zhēng)，來(lái)生成與原始圖像高度吻合的虛假圖像。風(fēng)靡一時(shí)的DeepFake軟件背后原理采用的均是GAN。
研究人員介紹，視頻連接后，發(fā)送端會(huì)傳輸交互者面部周圍的關(guān)鍵點(diǎn)數(shù)據(jù)，如鼻子、眼睛、嘴巴等，接受端的GAN會(huì)用這些點(diǎn)和原始靜態(tài)圖像一起來(lái)激活通話屏幕中的虛擬人臉。
另外，在面對(duì)面互動(dòng)體驗(yàn)方面，Maxine還增加了動(dòng)畫頭像交互和虛擬助手功能。動(dòng)畫頭像交互允許視頻通話者根據(jù)喜好選擇動(dòng)畫虛擬頭像 ，這些頭像雖不是真實(shí)的，但可以通過(guò)交互者的聲音和情緒基調(diào)自動(dòng)驅(qū)動(dòng)。
而虛擬助手內(nèi)置了NVIDIA Jarvis對(duì)話式AI框架，具有為實(shí)時(shí)性能而優(yōu)化的最新模型，可以進(jìn)行語(yǔ)音識(shí)別、語(yǔ)言理解以及語(yǔ)音生成的虛擬助手。比如在視頻通話中，交互者可以讓虛擬助手來(lái)記筆記、設(shè)置動(dòng)作項(xiàng)目以及用類似人類的聲音回答問(wèn)題。
那么，這款集高清、去噪、低延時(shí)及強(qiáng)交互體驗(yàn)的視頻通話工具，你要來(lái)體驗(yàn)一下嗎？
參考鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
https://blogs.nvidia.com/blog/2020/10/05/gan-video-conferencing-maxine/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
