丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
智慧教育 正文
發(fā)私信給李菁瑛
發(fā)送

0

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

本文作者: 李菁瑛 2020-07-29 13:33
導(dǎo)語(yǔ):后疫情時(shí)代,如何構(gòu)建高質(zhì)量的在線課堂?實(shí)時(shí)音視頻技術(shù)的未來(lái)將會(huì)怎樣?

近日,雷鋒網(wǎng)開(kāi)啟了“教育新基建”系列公開(kāi)課第二期,邀請(qǐng)了國(guó)內(nèi)云計(jì)算第一股UCloud實(shí)時(shí)音視頻平臺(tái)負(fù)責(zé)人裴志偉做客線上課堂,他以《線下教育如何平穩(wěn)地過(guò)渡到線上》為題進(jìn)行分享。

裴志偉,UCloud實(shí)時(shí)通信平臺(tái)負(fù)責(zé)人。主要負(fù)責(zé)實(shí)時(shí)音視頻RTC產(chǎn)品研發(fā),擁有近10年互聯(lián)網(wǎng)行業(yè)的研發(fā)經(jīng)驗(yàn)。2015年初加入U(xiǎn)Cloud,分別負(fù)責(zé)過(guò)云主機(jī)、云網(wǎng)關(guān)、帶寬和UFile對(duì)象存儲(chǔ)等產(chǎn)品,覆蓋云計(jì)算的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)是三大領(lǐng)域,對(duì)云計(jì)算行業(yè)有豐富的經(jīng)驗(yàn)。

此次主題分享分為四個(gè)部分:

1. 疫情對(duì)于在線教育的短期和長(zhǎng)期影響

2. 在線課堂遇到的技術(shù)挑戰(zhàn)

3. 實(shí)時(shí)高清音視頻通話背后的關(guān)鍵技術(shù)解析

4. 案例解析:如何快速構(gòu)建高質(zhì)量的在線課堂

以下為裴志偉的課程分享的部分回顧,雷鋒網(wǎng)對(duì)其做了不改變?cè)獾木庉嬚恚?/strong>

大家好,我來(lái)自UCloud,然后現(xiàn)在是UCloud實(shí)時(shí)音視頻平臺(tái)負(fù)責(zé)人,我今天的話題是關(guān)于大規(guī)模的實(shí)時(shí)視頻互動(dòng)場(chǎng)景下面帶來(lái)什么樣的挑戰(zhàn),以及有哪些關(guān)鍵的技術(shù)點(diǎn)?

首先我們先看看疫情對(duì)泛直播,包括一些用點(diǎn)播錄播的方式來(lái)做的微直播,帶來(lái)的短期變化是怎樣的?那就是學(xué)習(xí)、生產(chǎn)、經(jīng)營(yíng)都要去尋找一個(gè)線上的替代方式。

疫情期間線上課程為何體驗(yàn)不佳?

疫情期間線上課程為什么會(huì)體驗(yàn)不佳呢?我們上半年也聽(tīng)到過(guò)很多吐槽的聲音,大家都是在吐槽體驗(yàn)不好,有卡頓、掉線,有各種各樣的問(wèn)題。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

這里面其實(shí)分為三個(gè)層面,第一個(gè)是缺少一個(gè)良好的產(chǎn)品設(shè)計(jì),因?yàn)槲覀兇蠹抑牢覀兤綍r(shí)用的產(chǎn)品都是有產(chǎn)品的迭代,收集需求并去打磨,但是疫情突發(fā)而至的時(shí)候,實(shí)際上是很難有個(gè)很快應(yīng)對(duì)或者是去了解需求的過(guò)程。甚至某種程度上大家都是拼湊式用的,就是并沒(méi)有人單獨(dú)為我需要的一個(gè)場(chǎng)景去設(shè)計(jì)產(chǎn)品,所以第一個(gè)核心是缺少一個(gè)良好的產(chǎn)品的設(shè)計(jì)或者迭代。

那么第二點(diǎn),其實(shí)是它的技術(shù)。

2004年為什么發(fā)生了一個(gè)很大的變化,在2004年的時(shí)候,互聯(lián)網(wǎng)的遠(yuǎn)程辦公的底層技術(shù)成熟了。技術(shù)和需求是共同組織發(fā)展的,所以在2004年之后,在美國(guó)work from home的人的比例在逐漸提升,而且我相信這次疫情之后,2020年又是個(gè)大的轉(zhuǎn)折,那個(gè)曲線會(huì)更加陡。

其實(shí)社會(huì)一直有這樣的需求,但是過(guò)去可能沒(méi)有這樣的技術(shù)產(chǎn)品,需求就被壓抑了。

我們來(lái)看疫情帶來(lái)的長(zhǎng)期影響,要看兩個(gè)方面,第一是社會(huì)需求,第二是技術(shù)底層技術(shù)的支撐能力。技術(shù)是否能夠匹配支撐這個(gè)需求?

現(xiàn)在我們大家經(jīng)??吹降氖潜热缯f(shuō)教育的場(chǎng)景在做分級(jí),醫(yī)院也在做分級(jí)診療,緩解看病難等,未來(lái)還會(huì)出現(xiàn)在遠(yuǎn)程辦公中。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

實(shí)時(shí)音視頻技術(shù)會(huì)隨著需求不斷去完善自己,推動(dòng)生態(tài)的建設(shè),比如說(shuō)硬件芯片的升級(jí)、操作系統(tǒng)的適配、瀏覽器的適配,還有各種各樣的生態(tài),比如微信。

還有就是5G的到來(lái),實(shí)時(shí)音視頻是一個(gè)很大的爆點(diǎn)。大家都知道5G的優(yōu)勢(shì),如帶寬很大,延遲很低,支持更多各種多樣的設(shè)備去連接進(jìn)入網(wǎng)絡(luò)。所以,實(shí)時(shí)音視頻可以更好地發(fā)揮5G的優(yōu)勢(shì),它可以去更好地利用低延遲、大帶寬去提供比如VR全息投影的方式等等,會(huì)產(chǎn)生蝴蝶效應(yīng)。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

系統(tǒng)架構(gòu)設(shè)計(jì)的四個(gè)關(guān)鍵點(diǎn):高并發(fā)、高可靠、低延遲、抗弱網(wǎng)

有了這樣的技術(shù)之后,還要再看產(chǎn)品設(shè)計(jì)。我們?cè)诨ヂ?lián)網(wǎng)領(lǐng)域一直非常強(qiáng)調(diào)產(chǎn)品設(shè)計(jì),系統(tǒng)架構(gòu)設(shè)計(jì)要以用戶體驗(yàn)為導(dǎo)向,我們最終是為了讓用戶有一個(gè)良好的體驗(yàn),而不是我自己做技術(shù)做得爽。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

用戶的核心訴求其實(shí)就是不卡、不掉、延遲要盡可能低,低到什么程度呢?我們?cè)诰W(wǎng)絡(luò)的兩端去做線上的一些生產(chǎn)經(jīng)營(yíng)活動(dòng)的時(shí)候,要盡可能模擬到感覺(jué)跟線下似的。什么叫跟線下似的??jī)蓚€(gè)人面對(duì)面的在交流的時(shí)候,實(shí)際上沒(méi)有延遲的,我說(shuō)話聲音的傳播速度很快,我立刻就能看到對(duì)方的反應(yīng),對(duì)方的表情,對(duì)方會(huì)立刻給我反饋。但如果我們延遲大于一秒,甚至很多傳統(tǒng)的語(yǔ)音通話延遲都在5秒以上,這幾乎是不可接受的。

用戶還有什么衍生需求?音質(zhì)要足夠好、信息要做降噪。如果你我的周?chē)酗L(fēng)的聲音,或者是有一些電流聲、按鍵聲,其實(shí)這種確定性的聲音還是可以去做降噪的,但比如說(shuō)如果我走在戶外,突然有一輛車(chē)?guó)Q笛經(jīng)過(guò),現(xiàn)在的技術(shù)還是很難做到過(guò)濾掉這些噪聲。

最后一個(gè)很大的方面,把線下的場(chǎng)景完全搬到線上會(huì)有很多迭代的需求。比如說(shuō)在線下可以使用一個(gè)黑板就可以做到直接去演示一個(gè)東西,當(dāng)然現(xiàn)在可以通過(guò)屏幕分享,通過(guò)傳文件的方式等來(lái)實(shí)現(xiàn)。

結(jié)合這些需求來(lái)看,系統(tǒng)架構(gòu)設(shè)計(jì)核心最核心的就是四點(diǎn),高并發(fā)、高可靠、低延遲和抗弱網(wǎng),你要把它當(dāng)做一個(gè)平臺(tái)去設(shè)計(jì),對(duì)接各種各樣的算法。如果你全自己做的話,這個(gè)系統(tǒng)是非常大非常復(fù)雜的,所以音視頻產(chǎn)品一定是平臺(tái)化、模塊化的。

實(shí)時(shí)高清音視頻通話背后的關(guān)鍵技術(shù)

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

這是我們自己產(chǎn)品的一個(gè)整體架構(gòu)圖。

從下往上,第一部分是有個(gè)接入模塊,第二部分是有個(gè)信令模塊,第三部分是有個(gè)媒體模塊,把這三個(gè)東西打包成一個(gè)PaaS,PaaS的解決方案是以SDK的形式,它提供給用戶可以去調(diào)SDK的接口,用戶可以在不需要對(duì)音視頻設(shè)備有太多理解的情況下,就能把自己產(chǎn)品這塊的能力補(bǔ)齊。

大家可以看到這里面會(huì)用到會(huì)有非常多的網(wǎng)絡(luò)協(xié)議,比如說(shuō)websocket協(xié)議、SRTP協(xié)議、RTP、HTTPS等等,其實(shí)它很復(fù)雜,就像類(lèi)似于通訊里面會(huì)有有控制面、數(shù)據(jù)傳輸面等等。

上面就是我們常見(jiàn)的一些互聯(lián)網(wǎng)的技術(shù)架構(gòu)了,首先你要有API網(wǎng)關(guān)去對(duì)接,去接受資源上的控制。中間要做交易隊(duì)列,數(shù)據(jù)管理中心、媒體處理中心、注冊(cè)中心和調(diào)度中心等等。基礎(chǔ)服務(wù)主要是對(duì)這些資源,還有實(shí)現(xiàn)周邊的訪問(wèn)控制系統(tǒng),然后server實(shí)現(xiàn)控制和傳輸?shù)闹欣^。

接下來(lái)這個(gè)技術(shù)在整個(gè)直播和視頻領(lǐng)域里面最核心的一個(gè)模塊叫做抖動(dòng)緩沖。這個(gè)模塊是干嘛的呢?我們看下面的這張圖,它實(shí)際上是音視頻整個(gè)全部的過(guò)程。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

從端上的采集到編碼,包括中間還有預(yù)處理,把它去做封包,然后進(jìn)入網(wǎng)絡(luò)去發(fā)送。到對(duì)單的時(shí)候要經(jīng)過(guò)接收和組幀,然后要過(guò)這個(gè)Jitter Buffer,就叫做抖動(dòng)緩沖區(qū)。

所以抖動(dòng)緩沖區(qū)的核心模塊其實(shí)就是處理,因?yàn)槲覀冏咴诨ヂ?lián)網(wǎng)的數(shù)據(jù)包,會(huì)遇到比如丟包、亂序、延遲到達(dá)等復(fù)雜的場(chǎng)景,那么這時(shí)候就要去做一個(gè)很核心的功能,我要盡量平緩地就像解碼模塊去輸出一個(gè)數(shù)據(jù)包幀,所以它其實(shí)是抗弱網(wǎng)的一個(gè)核心模塊。

其實(shí)我們都知道網(wǎng)絡(luò)具有不穩(wěn)定性,如果大家關(guān)注過(guò)互聯(lián)網(wǎng)的數(shù)據(jù)包延遲的話,你會(huì)看到它其實(shí)是一個(gè)曲線,或者至少是一個(gè)鋸齒狀態(tài),它是一直在波動(dòng)的,偶爾就會(huì)有突發(fā)的一個(gè)抖動(dòng),或者是一個(gè)數(shù)據(jù)包的被丟失,甚至可能是因?yàn)槎松系男阅懿蛔愕葧?huì)引發(fā)一些執(zhí)行視頻相對(duì)比較復(fù)雜的地方,既然它比一般的直播延遲要更短,比如說(shuō)我們一般定義是要100-200毫秒,那么在這么很短的情況下,如果網(wǎng)絡(luò)出現(xiàn)一個(gè)波動(dòng),它會(huì)導(dǎo)致短期的延遲都大于200毫秒了。

如何去設(shè)計(jì)你的緩沖區(qū)?比如直播,m318可以有9秒,我可以有三個(gè)分片,加起來(lái)6秒到9秒,甚至還有更夸張的有12秒緩沖區(qū)的設(shè)計(jì)。那么在實(shí)時(shí)音視頻的情況下是沒(méi)有的,他沒(méi)有這么大的一個(gè)緩沖區(qū),怎么辦呢?所以它實(shí)際上也是一些預(yù)測(cè)算法,核心的上網(wǎng)叫做卡爾曼濾波,通過(guò)一些算法去估算當(dāng)前網(wǎng)絡(luò)排隊(duì)的延遲情況,還有現(xiàn)在傳輸?shù)男诺赖恼w傳輸速率。

當(dāng)然現(xiàn)在也有很多人把這個(gè)模塊輔助加一些預(yù)測(cè),訓(xùn)練出一些模型去簡(jiǎn)單做一些預(yù)測(cè),所以它主要是根據(jù)這幾個(gè)參數(shù),比如抖動(dòng)延遲的觀測(cè)值、前后兩幀的大小的差值,還有當(dāng)前網(wǎng)絡(luò)噪聲和系統(tǒng)的誤差等參數(shù)去計(jì)算出來(lái)一個(gè)卡爾曼增益系數(shù),去調(diào)整Jitter Buffer的大小。比如說(shuō)如果發(fā)現(xiàn)數(shù)據(jù)不夠了,他可能會(huì)把一部分的數(shù)據(jù)去做拉長(zhǎng),這時(shí)候你就會(huì)聽(tīng)到像類(lèi)似于電音這樣的一些真實(shí)的效果。

第二塊叫補(bǔ)償算法。

在WiFi的標(biāo)準(zhǔn)里面,一個(gè)叫后項(xiàng),一個(gè)叫形象補(bǔ)償算法,我們其實(shí)一般都是用的后項(xiàng),在WiFi里面主要用前項(xiàng),在其他領(lǐng)域一般用后項(xiàng)。

ARQ就是快速重傳,NACK也是快速送出來(lái)這種算法的一個(gè)動(dòng)態(tài)的智能聯(lián)動(dòng)。算法會(huì)根據(jù)不同的網(wǎng)絡(luò)情況,比如說(shuō)你當(dāng)前是丟包比較多,還是延遲比較高,會(huì)根據(jù)一些具體的情況去動(dòng)態(tài)切換。

所有的切換其實(shí)就是要去調(diào)整一個(gè)東西,重傳包和冗余包的比例。

重傳包很好理解,就是一個(gè)數(shù)據(jù)包丟失了,需要立刻重傳一次,公網(wǎng)的RTT延遲在中國(guó)大陸的話一般平均在70毫秒,這樣的策略能控制整個(gè)音視頻延遲在400毫秒以內(nèi)。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

那么另外一種方式是通過(guò)冗余比例。人耳其實(shí)對(duì)音頻更敏感,比如說(shuō)像直播的時(shí)候一般是相對(duì)靜態(tài)的畫(huà)面,其實(shí)視頻還好,因?yàn)槟銇G了一兩幀,只是在網(wǎng)絡(luò)非??ǖ臅r(shí)候,可能看到人有點(diǎn)跳躍式的動(dòng)作,不是那么連貫,但是影響不是那么大。

反而是音頻識(shí)別比較難,因?yàn)槿硕啾扔谌搜郾緛?lái)就更敏感,如果音頻不連續(xù),你聽(tīng)起來(lái)會(huì)很奇怪,你聽(tīng)到的表意是不完全的。人對(duì)聽(tīng)到的聲音的理解其實(shí)是一個(gè)比較復(fù)雜的過(guò)程,你要先聽(tīng)到每一句每個(gè)字,然后再把它組成詞,組成句,還有上下文的語(yǔ)境,那么這個(gè)過(guò)程其實(shí)相對(duì)比較復(fù)雜。

所以其實(shí)音頻更多的就是靠的是整個(gè)軟件的數(shù)據(jù)比例,比如說(shuō)我們常見(jiàn)的至少是兩倍甚至還有三倍的,通過(guò)調(diào)整冗余包的比例,即使數(shù)據(jù)包丟失也不用擔(dān)心。

還有更高級(jí)的算法比如可以做低頻的數(shù)據(jù)和高頻的數(shù)據(jù),把它去做拆分,如果你收到完整的數(shù)據(jù),你聽(tīng)到音頻的質(zhì)量會(huì)更高,如果你只收到了低頻的部分,你聽(tīng)到的這個(gè)聲音就稍微有點(diǎn)失真。

所以其實(shí)都是通過(guò)各種各樣的補(bǔ)償方法,在網(wǎng)絡(luò)相對(duì)比較差的情況下保證實(shí)時(shí)音視頻或者一個(gè)會(huì)議場(chǎng)景的效果。

下面這張圖解釋了為什么我們叫他把它叫做實(shí)時(shí)音視頻平臺(tái),而不只是一個(gè)簡(jiǎn)單的產(chǎn)品。 

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

上行的一條線是采集、音視頻預(yù)處理、編碼、網(wǎng)絡(luò)傳輸、云服務(wù)端,有些還會(huì)有兩大分支處,一個(gè)是做錄制,第二個(gè)是旁路推流,旁路推流就是比如我們幾個(gè)人開(kāi)會(huì),還可以把這個(gè)會(huì)議直播出去給更多的人觀看。

另外一條下行的是網(wǎng)絡(luò)傳輸、解碼、后處理,比如說(shuō)美顏、加水印等。

實(shí)際上每個(gè)步驟在每個(gè)真實(shí)的用戶場(chǎng)景里面都會(huì)有各種各樣的功能。我就舉個(gè)最簡(jiǎn)單例子,比如音頻采集,是不是設(shè)置麥克風(fēng),有一些專(zhuān)業(yè)的麥克風(fēng)、有混響,或者說(shuō)他用了一些美顏相機(jī);比如我在電腦上播放了一段音樂(lè),我想要去采集應(yīng)用播放出來(lái)的音樂(lè)聲,還有比如有些老師唱歌,用了一些聲卡,或者是我之前本地有一個(gè)音頻文件,想把音頻文件做成混音的效果……

視頻采集就更復(fù)雜了,比如手機(jī)有前置后置攝像頭,后置攝像頭還分為長(zhǎng)焦遠(yuǎn)焦;還有我們做桌面分享的時(shí)候,可能需要我做整個(gè)屏幕的或者是某個(gè)窗口某個(gè)區(qū)域的某個(gè)應(yīng)用的分享;還有更專(zhuān)業(yè)的直播間需要去對(duì)接追蹤人臉的360°的網(wǎng)絡(luò)攝像頭。

所以一個(gè)標(biāo)準(zhǔn)的平臺(tái)產(chǎn)品,你要把它的底層設(shè)計(jì)做得足夠通用其實(shí)很復(fù)雜,這也就是為什么很難有一款SaaS產(chǎn)品能夠去很好地滿足各行各業(yè)的應(yīng)用場(chǎng)景。我們只能是在PasS的基礎(chǔ)上搭建一個(gè)平臺(tái),在這個(gè)平臺(tái)的基礎(chǔ)上,對(duì)每個(gè)模塊去做你熟悉的產(chǎn)品和場(chǎng)景,你了解它的功能,并了解底層提供的支撐一些功能的能力,這時(shí)候你去設(shè)計(jì)你的產(chǎn)品才是相對(duì)比較良性的狀態(tài)。

音視頻技術(shù)的迭代演進(jìn)和未來(lái)

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

我們回顧音視頻的技術(shù)發(fā)展其實(shí)受制于一整個(gè)系列的影響,比如說(shuō)硬件的性能夠不夠?操作系統(tǒng)支不支持?多媒體協(xié)議的發(fā)展,應(yīng)用的展現(xiàn)形式,用戶的接受度,還包括整個(gè)互聯(lián)網(wǎng)的帶寬基礎(chǔ)設(shè)施的建設(shè)程度。比如最早大家用的都是音視頻,都是用專(zhuān)業(yè)的硬件,后來(lái)出現(xiàn)了通用CPU加多媒體的指令集。  

第二個(gè)是從方式的角度,出現(xiàn)了線程緩沖、FEC算法,其實(shí)內(nèi)核網(wǎng)絡(luò)協(xié)議沒(méi)有太多調(diào)整,比如最著名的就是在4.9的時(shí)候bb2,還有現(xiàn)在比如說(shuō)像現(xiàn)在 HTTP3.0會(huì)把quick作為基礎(chǔ)等等,那么我們?cè)趨f(xié)議上其實(shí)也在逐步做分層,比如說(shuō)存儲(chǔ)會(huì)作用于冗余編碼糾錯(cuò)、編解碼codec、傳輸編碼,同時(shí)也引入了容器這樣一個(gè)音視頻封裝概念。

比如還有我們大家都知道的像h264v8,現(xiàn)在未來(lái)會(huì)去往ABE去轉(zhuǎn)等等。其實(shí)每一代的發(fā)展都是去實(shí)現(xiàn)一個(gè)更高的壓縮率,讓你能夠以一個(gè)更低的綜合碼率去傳輸更高清的內(nèi)容。

人對(duì)高清音視頻通話的追求是永無(wú)止境的。我們以前覺(jué)得馬賽克像素級(jí)的那種東西看得很開(kāi)心,但是你現(xiàn)在應(yīng)該很難回去了,你現(xiàn)在在看比賽的時(shí)候希望能看到球員臉上的毛孔,同時(shí)我們以前對(duì)音視頻更多只是做內(nèi)容的一個(gè)分發(fā)傳播,其實(shí)現(xiàn)在已經(jīng)發(fā)展為各類(lèi)的實(shí)時(shí)和互動(dòng)的場(chǎng)景,所以其實(shí)它的整個(gè)迭代引進(jìn)是一方面是需求引進(jìn),一方面是底層的支撐能力的引進(jìn),而且它是一個(gè)協(xié)同發(fā)展的過(guò)程,每一塊都不可或缺。

為什么說(shuō)短視頻要到4G時(shí)代才能迎來(lái)它的爆發(fā)點(diǎn)?你可以想象一下,如果你刷抖音,一個(gè)視頻刷的中間卡了幾秒鐘,你的體驗(yàn)肯定是難以接受的。而且如果整個(gè)網(wǎng)絡(luò)支撐不住,所有人都這樣去刷的話,其實(shí)大家體驗(yàn)也會(huì)非常差。

4G時(shí)代,大家的平均網(wǎng)絡(luò)帶寬是多少呢?20~30兆;在3G的時(shí)代,大家的網(wǎng)絡(luò)速度其實(shí)只有1兆到5兆之間,在2G網(wǎng)絡(luò)的時(shí)候是更小的,每個(gè)人其實(shí)只有二三十KB,只能刷刷網(wǎng),看看小說(shuō),刷刷一些簡(jiǎn)單的網(wǎng)頁(yè)。

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

那么面向未來(lái)也有一些很高級(jí)的功能,比如說(shuō)剛剛我其實(shí)已經(jīng)提到過(guò)了聲音處理,還有特效,比如每個(gè)人都希望自己的聲音更完美,男生希望更火爆,女生希望更可愛(ài)或御姐風(fēng)等;

還有比如更智能的降噪還有聲紋識(shí)別。聲紋識(shí)別應(yīng)用已經(jīng)越來(lái)越多了,比如微信登錄時(shí)可以通過(guò)說(shuō)幾句話來(lái)去識(shí)別一個(gè)人的聲紋的。實(shí)際上聲紋是個(gè)很好的生物密碼技術(shù),每個(gè)人說(shuō)話的聲音或者是念不同語(yǔ)句或者數(shù)字的聲音是不一樣的。

再比如說(shuō)音軌的分離。一段語(yǔ)音可以由很多聲音組合而成,比如說(shuō)我們現(xiàn)在常見(jiàn)的PC或者手機(jī)能處理36路這樣一個(gè)聲音去混合起來(lái)?;旌掀饋?lái)容易,但是怎么樣去做分離?比如記者在采訪的過(guò)程中,實(shí)際上是有多個(gè)人在講話的,我能不能去分離出來(lái)某一個(gè)人講話的聲音,然后我把它先去做做語(yǔ)音轉(zhuǎn)寫(xiě)等。

還有更高效的codec,這個(gè)是永無(wú)止境的追求。4k的視頻傳播大概對(duì)帶寬要求在8兆到20兆之間的,但是能不能去實(shí)現(xiàn)更低的,比如說(shuō)2-4兆,在這樣一個(gè)帶寬要求上去實(shí)現(xiàn)4k的效果。實(shí)際上這部分已經(jīng)有進(jìn)展了,基本上可以確定它他會(huì)在5G時(shí)代落地。

如何結(jié)合RTC加速線下業(yè)務(wù)的線上化

UCloud大揭秘!實(shí)時(shí)音視頻互動(dòng)背后有哪些關(guān)鍵技術(shù)?| 萬(wàn)字長(zhǎng)文

最后一個(gè),在RTC之前其實(shí)已經(jīng)有很多業(yè)務(wù),雖然互聯(lián)網(wǎng)化、數(shù)字化已經(jīng)讓很多業(yè)務(wù)從線下搬到了線上,但還是有很多很重的場(chǎng)景做不到。比如說(shuō)在線上課,比如說(shuō)遠(yuǎn)程看病,以前為什么做不到?是因?yàn)橐郧暗囊曨l方式很難真正去滿足用戶的需求。

過(guò)去供給方和需求方是不愿意坐在一起去磨合的,那么疫情在某種程度上是把大家逼到了一起,沒(méi)有退路了,必須互相往中間去靠,不能是你指望我走999步,你只走1步。

在這個(gè)時(shí)候,我們傳統(tǒng)說(shuō)的直播已經(jīng)成為了一個(gè)生產(chǎn)力工具,它可以很好地去加速原來(lái)一些很頑固的線下場(chǎng)景線上化。包括現(xiàn)在的云旅游、互聯(lián)網(wǎng)看病、城市一網(wǎng)通管理。

第二,UCloud的思路是做PasS,因?yàn)樽鯯asS,一個(gè)人一個(gè)公司一個(gè)團(tuán)隊(duì)是不可能去滿足所有行業(yè)的需求,也很難去做到真正的聚焦。當(dāng)然可能會(huì)比如像教育、視頻會(huì)議這些行業(yè)本身很大,專(zhuān)門(mén)投入進(jìn)去做也沒(méi)問(wèn)題。

第三,音視頻行業(yè)絕不僅僅局限于教育、醫(yī)療、辦公,作為一個(gè)云計(jì)算公司,我們發(fā)現(xiàn)很多有意思的需求,比如說(shuō)工業(yè)的各類(lèi)遠(yuǎn)程控制,以前的設(shè)備是看不到當(dāng)?shù)氐漠?huà)面的,只能通過(guò)一些傳感器的數(shù)據(jù)去做軟件操作,或者說(shuō)我看到的畫(huà)面是有延遲的。如果它是實(shí)時(shí)的,就能去做一些更精密的控制,或者是更有想象力的一些操作,某種程度就可以解放人。

在疫情期間其實(shí)已經(jīng)出現(xiàn)很多場(chǎng)景了,比如一個(gè)人在遠(yuǎn)程去操作一個(gè)挖掘機(jī),在某一個(gè)環(huán)境比較惡劣的地方去挖礦,還有通過(guò)智能家居的方式去控制家里的一些東西。

每一代技術(shù)的發(fā)展都是游戲娛樂(lè)領(lǐng)域的創(chuàng)新會(huì)走得更快。

另外,我認(rèn)為5G時(shí)代會(huì)出現(xiàn)云游戲的概念,原先我們?cè)谕媸謾C(jī)游戲的時(shí)候是非常消耗手機(jī)性能的,那么未來(lái)渲染可能是放在云端去完成,本地其實(shí)只是相當(dāng)于在看一個(gè)電影似的,然后其他的操作觸碰的一些指令是單獨(dú)完成的。

最后我們堅(jiān)信的一點(diǎn),每一次交互方式的變化都是革命性的,比如說(shuō)手機(jī)的交互從傳統(tǒng)的數(shù)字按鍵變成了觸摸屏,電阻屏變成了電容屏,比如說(shuō)語(yǔ)音的交互。

如果能有一個(gè)穩(wěn)定、易得、便宜的RTC云服務(wù)將是引爆這些需求的最好契機(jī),也是將這些需求線上化最好的催化劑。

 

精彩互動(dòng)問(wèn)答:

問(wèn):疫情期期間的在線網(wǎng)課,連阿里騰訊都要緊急擴(kuò)容,目前的技術(shù)水平是否難以應(yīng)對(duì)這種超級(jí)高并發(fā)?

答:首先我們要正確理解兩個(gè)東西,第一個(gè)是并發(fā),這個(gè)并發(fā)算高嗎?今年在疫情期間,釘釘?shù)淖罡叻逯凳?000~5000萬(wàn),騰訊視頻騰訊會(huì)議的最高并發(fā)好像是2000萬(wàn)左右。我們都知道目前的國(guó)內(nèi)的最高并發(fā)應(yīng)該算是像微信的十幾億并發(fā),或者是騰訊阿里雙11的時(shí)候,這種每秒的幾萬(wàn)筆支付,還有比如說(shuō)像秒殺活動(dòng)算高并發(fā)。我認(rèn)為在線網(wǎng)課的這個(gè)并發(fā)不算高,而且這個(gè)并發(fā)是可以去做隔離的,比如說(shuō)我可以按照一個(gè)房間來(lái),可以按照一個(gè)地區(qū)來(lái),是可以去做分級(jí)群這樣一個(gè)架構(gòu)設(shè)計(jì)的,反而真正復(fù)雜的是資源,需要海量的計(jì)算網(wǎng)絡(luò)存儲(chǔ)資源。目前并不是國(guó)內(nèi)的技術(shù)水平不能達(dá)到,而是大家平時(shí)不會(huì)囤那么多的資源在那。

問(wèn):疫情期間很多機(jī)房無(wú)法進(jìn)入服務(wù)器,供應(yīng)商也無(wú)法及時(shí)上門(mén)服務(wù),如何去保證服務(wù)的穩(wěn)定?

答:這個(gè)事情叫巧婦難為無(wú)米之炊,如果沒(méi)有足夠量的資源儲(chǔ)備,實(shí)際上是誰(shuí)都沒(méi)有辦法。所以第一個(gè)是你的資源池要足夠龐大,比如說(shuō)現(xiàn)在云服務(wù)都是全球部署,資源的儲(chǔ)備肯定是很重要的。

對(duì)于客戶而言,比如說(shuō)我們一個(gè)地區(qū)可能有數(shù)萬(wàn)臺(tái)服務(wù)器這樣一個(gè)規(guī)模的話,總歸是提供了更大的彈性,然后大家可以更多的去復(fù)用,比如說(shuō)你是白天上課,我是晚上娛樂(lè),我是中午吃飯,發(fā)新聞等等。更多的云計(jì)算是通過(guò)這樣一個(gè)集中式的更大資源池提供更高的彈性。

問(wèn):疫情期間總是出現(xiàn)卡頓和崩潰的現(xiàn)象,這個(gè)問(wèn)題是如何去解決的?

答:崩潰的問(wèn)題其實(shí)主要是幾個(gè)方面,第一個(gè)是性能問(wèn)題,長(zhǎng)時(shí)間高性能的運(yùn)作,會(huì)導(dǎo)致你的設(shè)備系統(tǒng)的穩(wěn)定性較差。第二個(gè)是產(chǎn)品的設(shè)計(jì)問(wèn)題,如果你產(chǎn)品都沒(méi)有很充分的去設(shè)計(jì),沒(méi)有考慮用戶的使用場(chǎng)景,只是把供應(yīng)堆積在那,這種事情是難以避免的。

最后一個(gè),互聯(lián)網(wǎng)的任何地方都是可能會(huì)存在bug,隨著整個(gè)產(chǎn)品去迭代,這種現(xiàn)象會(huì)越來(lái)越少,性能也會(huì)越來(lái)越優(yōu)化。

但是卡頓就是一個(gè)比較復(fù)雜問(wèn)題,卡的問(wèn)題其實(shí)也是要分情況的。比如說(shuō)剛剛我之前有提到過(guò),在視頻會(huì)議或者是在教學(xué)場(chǎng)景下最極端的情況下,我們可以把視頻降到更低的分辨率,或者說(shuō)比如說(shuō)現(xiàn)在假設(shè)我的網(wǎng)絡(luò)很差,我可以把攝像頭屏蔽掉,我只傳播聲音。 

第二,還是要取決于整個(gè)服務(wù)抗弱網(wǎng)的一些更優(yōu)秀的算法,或者是一些在工程上面的創(chuàng)新。同時(shí)也離不開(kāi)基礎(chǔ)設(shè)施的提升,比如以前大家上網(wǎng)用ABS撥號(hào),后來(lái)?yè)Q成了光纖入戶。未來(lái)的網(wǎng)絡(luò)也會(huì)逐步提高,同時(shí)在無(wú)線通訊上,4G網(wǎng)絡(luò)的平均延遲只有30毫秒左右,在3G時(shí)代是400毫秒左右。所以某種程度4G網(wǎng)絡(luò)下已經(jīng)可以去實(shí)現(xiàn)實(shí)時(shí)音視頻的互動(dòng),那么在5G下效果可能會(huì)更高,所以卡頓其實(shí)是要綜合來(lái)考慮的。

問(wèn):純線上課的互動(dòng)和教學(xué)都不如線下,怎么讓大家從心理上去接受線上線上教育?

答:線上課的最大的問(wèn)題就是互動(dòng)和教學(xué)的效果,本質(zhì)的一個(gè)原因是線上教學(xué)老師傳遞的信息不夠多。比如說(shuō)老師現(xiàn)在在一個(gè)課堂里面上課的時(shí)候,老師一抬頭可以看到這個(gè)房間里面的所有信息,只要一個(gè)動(dòng)作,我就可以接收到很多信息。

但在線上課,現(xiàn)在的產(chǎn)品能力做不到。比如說(shuō)一個(gè)房間有幾十個(gè)人的時(shí)候,如果把這幾十個(gè)人的圖像都堆在下面,老師什么都看不到,但其實(shí)現(xiàn)在已經(jīng)有一些產(chǎn)品設(shè)計(jì)了,比如說(shuō)這個(gè)房間里面是一個(gè)小班教學(xué),35個(gè)人的圖像輪流滾動(dòng),每次放5個(gè)人的圖像在下面,這種方式老師其實(shí)就已經(jīng)能夠看到部分學(xué)生的教學(xué)反饋了。

還有一個(gè)是大家可能都沒(méi)有意識(shí)到,上課的時(shí)候,老師會(huì)不自覺(jué)地問(wèn)大家有沒(méi)有感覺(jué)到卡頓,有沒(méi)有聽(tīng)不清,其實(shí)有很多無(wú)效的互動(dòng)都會(huì)浪費(fèi)在了這些問(wèn)題的回答上。

如果我們的服務(wù)足夠穩(wěn)定,我們的產(chǎn)品設(shè)計(jì)能夠讓老師捕捉到更多的信息,老師不用去關(guān)心學(xué)生是否聽(tīng)到我的回答,當(dāng)某個(gè)學(xué)生掉線的時(shí)候,老師能立刻能有個(gè)東西提示他,把所有主動(dòng)做的事情全都變成被動(dòng),任何意外情況都會(huì)以一種形式去通知到老師,這樣互動(dòng)效果就會(huì)大大提升,這也是接下來(lái)整個(gè)面向在線教育產(chǎn)品升級(jí)的地方。

教學(xué)效果為什么不如線下,也包括一個(gè)監(jiān)督不夠的問(wèn)題?,F(xiàn)在也已經(jīng)有一些針對(duì)性的產(chǎn)品設(shè)計(jì)了,比如說(shuō)端上至少可以做一個(gè)事情,我可以捕捉學(xué)生的畫(huà)面,如果我識(shí)別不到人臉的,我就發(fā)一個(gè)提示聲音去通知學(xué)生,甚至還可以通知到老師。

第二我們?cè)偃プ鲆恍┹o助教學(xué)工具,老師平時(shí)在黑板上寫(xiě)板書(shū)很容易,但是如果在電腦上要去手寫(xiě)一個(gè)東西相對(duì)比較困難,現(xiàn)在有些手寫(xiě)板的功能也慢慢在做了。

這些問(wèn)題并不是說(shuō)不可逾越,都是可以通過(guò)產(chǎn)品技術(shù)或者是在上課過(guò)程中的一些創(chuàng)新的教學(xué)方法、教學(xué)理念去大幅改善。

問(wèn):地方的小型培訓(xùn)機(jī)構(gòu),還有轉(zhuǎn)型線上的必要嗎?

答:在我看來(lái)是非常有必要。

首先第一個(gè)是疫情的反復(fù),我認(rèn)為疫情是長(zhǎng)期存在,今年疫情期間,我看到一個(gè)數(shù)據(jù)說(shuō)之前有40萬(wàn)的培訓(xùn)機(jī)構(gòu),疫情后驟減到25萬(wàn),倒閉了40%。如果再來(lái)一次疫情,還有多少人能保證自己活著?

所以在我看來(lái),不叫轉(zhuǎn)型線上,而是要儲(chǔ)備一定的線上能力。小型的公司可以去簡(jiǎn)單使用一些大的平臺(tái),看誰(shuí)用得好,你可以跟著去學(xué)習(xí)去改變你的使用方式 ;大一點(diǎn)的機(jī)構(gòu),可以去儲(chǔ)備自己的線上產(chǎn)品;更大的機(jī)構(gòu),甚至還要做技術(shù)儲(chǔ)備、教學(xué)工具教學(xué)設(shè)備。比如我看到很多大的教育機(jī)構(gòu),現(xiàn)在其實(shí)都在花很多的錢(qián)去去蓋樓建直播間。

第二你也可以去思考,我們?nèi)タ唇虒W(xué)的場(chǎng)景分為三個(gè)大的方面,教學(xué)、輔導(dǎo)、練習(xí)。那么練習(xí)這個(gè)事情是不是很好地可以通過(guò)線上的方式完成?輔導(dǎo),尤其像一對(duì)一的方式,是不是有一部分可以通過(guò)線上?有一部分很重的很復(fù)雜的采用線下?知識(shí)是有記憶曲線的,比如說(shuō)線下很多時(shí)候必須要家長(zhǎng)去接送,有時(shí)候課必須是周末才能上的,那么這時(shí)候可能有些知識(shí)點(diǎn)就已經(jīng)忘記了。如果我在周中的時(shí)候去穿插一節(jié)網(wǎng)課,不講新的內(nèi)容,只做鞏固,是不是效果就會(huì)好很多?

所以在我看來(lái),這不叫轉(zhuǎn)型線上,而是一定要去具備線上的思維方式,儲(chǔ)備一定線上的能力。

問(wèn):怎么樣去看待云技術(shù)對(duì)教育行業(yè)的重構(gòu)?

答:這個(gè)問(wèn)題其實(shí)我是這樣看的,因?yàn)榻逃且粋€(gè)很相對(duì)比較傳統(tǒng)比較重要的行業(yè),但是同時(shí)它的數(shù)字化過(guò)程不會(huì)那么迅猛。比如說(shuō)現(xiàn)在可能大家只聽(tīng)到一些互聯(lián)網(wǎng)大學(xué)的概念,基本上不會(huì)聽(tīng)到互聯(lián)網(wǎng)小學(xué)、小學(xué)、中學(xué)。

第二,教育某種程度上是一個(gè)人力密集型行業(yè),效率相對(duì)比較低下,比如說(shuō)老師批改作業(yè)可以用AI來(lái)實(shí)現(xiàn),另外,老師在備課的過(guò)程中也有很多工具,我見(jiàn)過(guò)在線教育機(jī)構(gòu)有的備課已經(jīng)是用游戲引擎來(lái)做了,他們做出來(lái)的是一個(gè)動(dòng)畫(huà)效果,而不是簡(jiǎn)單的小視頻和圖片做演示。

再比如說(shuō)孔子一直講因材施教,有教無(wú)類(lèi),我們現(xiàn)在可以通過(guò)推薦算法去識(shí)別一個(gè)人的真實(shí)能力,這樣就可以避免非??菰锏念}海戰(zhàn)術(shù)。我們大家在面對(duì)高考或者中考等應(yīng)試教育的過(guò)程中,實(shí)際上做了大量無(wú)效的工作,比如說(shuō)題目的知識(shí)點(diǎn)我已經(jīng)很熟悉了,但是我還是在不斷去刷題等,那么未來(lái)能不能通過(guò)大數(shù)據(jù)去滿足智能化的題目推薦。

以上就是我今天的分享,謝謝大家!


本期公開(kāi)課完整視頻鏈接:http://m.ozgbdpf.cn/openCourse/view/s/5f169723649a7


雷鋒網(wǎng)“教育新基建”系列公開(kāi)課正在火熱進(jìn)行中,后續(xù)將上線更多重磅嘉賓和課程,敬請(qǐng)關(guān)注~

添加雷鋒網(wǎng)-小雷哥微信leiphonesz2018,即可拉你進(jìn)群觀看直播~

欲申請(qǐng)雷鋒網(wǎng)”教育新基建“公開(kāi)課演講的廠商,請(qǐng)加雷鋒網(wǎng)-海棠姐微信:lijingying0451

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

分享:
相關(guān)文章

雷鋒網(wǎng)認(rèn)證編輯

關(guān)注云計(jì)算、5G、智慧教育賽道,微信號(hào):lijingying0451,業(yè)務(wù)交流請(qǐng)注明公司+職位。
當(dāng)月熱門(mén)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄