憑借AI修復(fù)老北京影像火爆B站的Up主大谷兄，今天又來帶我們玩穿越了！

這次是1929年的老北京，除了AI上色、補幀、擴大分辨率外，還百分百還原了時代原聲，老北京的味兒太足了！

人頭攢動，熙熙攘攘，有賺吆喝的、看熱鬧的、閑聊的，老北京集市好不熱鬧。

大鼓、笛子、四胡、三弦，手藝人的一曲《打新春》，有內(nèi)味了。

盲人"爵士"樂隊

原來理發(fā)最低不是5塊，還有2塊的！

聽他們聊天，網(wǎng)友表示想看相聲了。

師傅：疼不疼？

小伙：不疼。我還不哭呢外帶著。

小伙：這個頭好，剃得不疼，剃不好，真疼，剃好了咱還找你去。

師傅：唉

......

如果精神小伙穿越到現(xiàn)在，會不會是一位優(yōu)秀的Up主？

精神小伙理發(fā)記

溢出屏幕的開心勁兒，看來發(fā)型很滿意。在我們這年代都不用理，用不了幾年就能天然形成[傲嬌]

吃飯還能這么熱鬧嗎？我們現(xiàn)在都是隔著兩米！

驚現(xiàn)“地攤經(jīng)濟”

3min的珍貴影像資料，可謂真真切切地感受了老北京九十年前的生活狀態(tài)。雖然看起來物質(zhì)生活不是很富裕，但隔著屏幕都是感受到那時候人們的歡樂。準確的來說，這段影像記錄的是1927-1929年的老北京，出自南卡羅萊納大學影像庫館藏膠片。

另外，這段影像修復(fù)視頻依然出自B站Up主大谷之手，此前他曾用AI修復(fù)過1920-1927年的一段老北京影像，在B站爆火，視頻點擊量超過了200萬，還受到了央視新聞的報道。不過，從影像的修復(fù)效果過來看，顯然這次在去噪和著色方面處理的更好，而且還是自帶原聲的影像資料。

這次的修復(fù)作品是與央視新聞聯(lián)合發(fā)布的，視頻上傳不到30min，在B站就收獲了30多萬的播放量，彈幕更是爆屏。

最后，奉上完整視頻，一起來感受老京城生活

AI修復(fù)是如何實現(xiàn)的？

據(jù)大谷介紹，這部修復(fù)作品采用了新的AI技術(shù)DeepRemaster。與此前相比，它在上色、補幀、分辨率方面都有更出色的表現(xiàn)。這項技術(shù)的研發(fā)者是日本建筑大學的Satoshi Iizuka和和早稻田大學的Edgar Simo-Serra。他們的論文還被計算機圖形學頂會SIGG2019收錄。

論文地址：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html

我們知道以前的影像資料一般都是黑白的，而且像素、質(zhì)量比較低。如果修復(fù)的話，需要提高分辨率、去除噪聲和增強對比度的處理?；谶@些任務(wù)，作者中提出了一個DeepRemaster模型。

它基于時間卷積神經(jīng)網(wǎng)絡(luò)，在視頻上訓(xùn)練注意力機制（Source-Reference），這種注意力機制可以處理任意數(shù)量的彩色圖像，同時不需要對長視頻進行分割，因此保持時間的一致性。經(jīng)過定量分析表明，DeepRemaster的模型性能可以隨著視頻長度和彩色圖像的增加而提高，遠優(yōu)于現(xiàn)有的修復(fù)模型。

DeepRemater模型的內(nèi)部架構(gòu)

在模型Input端輸入黑白圖像，經(jīng)過時間卷積網(wǎng)絡(luò)的預(yù)處理和Source-Reference注意力機制的深度訓(xùn)練后，可以結(jié)合任意數(shù)量的彩色圖像來生成最終的色度信道。在這一過程中， Source-Reference注意力機制允許模型再給視頻上色時，參考彩色圖像（Reference Images）中的相似區(qū)域。

基于遞歸的卷積神經(jīng)網(wǎng)絡(luò)，在傳播信息時，通常是逐幀傳播，不能進行并行處理，并形成依賴關(guān)系。因此，在參考彩色圖像時，圖像會反復(fù)重新開始，這樣時間上的相關(guān)性就會丟失。而基于Source-Reference注意力機制的卷積神經(jīng)網(wǎng)絡(luò)在處理任何幀時能夠并行使用所有的參考信息。

以下是DeepRemaster修復(fù)的效果圖：（右側(cè)為參考彩色圖像）

修復(fù)方法比較

Zhang、Yu和Vondrick等人曾對世界經(jīng)典電影和和Youtube視頻進行AI修復(fù)試驗，結(jié)果取得了不錯的效果。作者為驗證DeepMaster的修復(fù)性能，與之進行了對比。

首先是與Zhang、Yu的比較。作者從Youtube的300視頻數(shù)據(jù)集中隨機抽取了一段8M視頻作為修復(fù)目標，其中所用到參考彩色圖像，取自源視頻，并每隔60幀截取一次。

噪聲處理：從修復(fù)結(jié)果來看，當前的方法在去噪處理方面，顯然優(yōu)勢明顯。第一列為存在噪聲瑕疵的原圖像，前兩種幾乎沒有對齊進行修復(fù)，第四列可以看到在高保真的狀態(tài)下，噪聲被處理的很好，與第四列真實圖像幾乎沒有差異。

著色處理：圖中第一列為原始圖像，后三列為不同方法的處理著色處理結(jié)果，最后一列為參考彩色圖形?？梢钥闯龅谌械念伾幚砼c第四列幾乎無差異。因此，基于Source-Reference注意力機制的模型著色效果更好。

另外，作者將Zhang和Vondrick的修復(fù)方法結(jié)合，并進行了比較。上部圖像為參考彩色圖像，分別對第5、85、302幀的圖像進行了修復(fù)，結(jié)果可以看出目前的方法在著色效果上更好。

更多論文詳細內(nèi)容參考：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/data/remastering_siggraphasia2019.pdf（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。