作者 | 杏花、王曄

編輯 | 琰琰

22日晚，ACM Multimedia 2021公布了最佳論文、最佳學(xué)生、最佳Demo、最佳開(kāi)源、SIGMM時(shí)間檢驗(yàn)、SIGMM優(yōu)秀博士論文等多個(gè)獎(jiǎng)項(xiàng)，共6篇論文入選，其中北航團(tuán)隊(duì)、臺(tái)灣大學(xué)團(tuán)隊(duì)分別獲得了最受矚目的最佳論文獎(jiǎng)和最佳學(xué)生論文獎(jiǎng)。

最佳論文獎(jiǎng)獲獎(jiǎng)?wù)撐臑?/span>《Video Background Music Generation with Controllable Music Transformer》，由北航京航天航空大學(xué)、查特豪斯大學(xué)和Sea AI Lab聯(lián)合團(tuán)隊(duì)共同完成，論文一作為北航研二學(xué)生Shangzhe Di，師從 Si Liu 教授，研究方向?yàn)樯删W(wǎng)絡(luò)的可控性。

這篇論文主要研究了視頻背景音樂(lè)生成的問(wèn)題。為了生成與給定視頻相匹配的背景音樂(lè)，作者在視頻與背景音樂(lè)之間建立了節(jié)奏關(guān)系，提出了一個(gè)可控的音樂(lè) Transformer CMT，它能夠?qū)σ舴?jié)拍、音符密度和強(qiáng)度等節(jié)奏特征進(jìn)行局部控制，還能夠?qū)τ脩糁付ǖ囊魳?lè)類型和使用的樂(lè)器進(jìn)行全局控制。

最佳學(xué)生論文獎(jiǎng)由臺(tái)灣大學(xué)、國(guó)立臺(tái)南藝術(shù)大學(xué)聯(lián)合完成，論文一作為臺(tái)灣大學(xué)You-Yang Hu。

此外，ACM Multimedia還頒發(fā)了SIGMM杰出技術(shù)成就獎(jiǎng)和SIGMM新星獎(jiǎng)獲獎(jiǎng)。羅徹斯特大學(xué)教授羅杰波，因在多媒體計(jì)算、通信和應(yīng)用方面的杰出貢獻(xiàn)摘得技術(shù)成就獎(jiǎng)；電子科技大學(xué)教授宋井寬，因其在多媒體緊湊表示和分析方面的貢獻(xiàn)獲得SIGMM新星獎(jiǎng)。以下為兩位學(xué)者的簡(jiǎn)單介紹：

羅杰波，羅徹斯特大學(xué)計(jì)算機(jī)科學(xué)教授，ACM、AAAI、IEEE、SPIE 和 IAPR Fellow。其研究領(lǐng)域涵蓋計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、社交媒體和生物醫(yī)學(xué)信息學(xué)。

個(gè)人主頁(yè)：https://www.cs.rochester.edu/u/jluo/

Jiebo Luo 教授撰寫(xiě)了 500 多篇技術(shù)論文和 90 多項(xiàng)美國(guó)專利。此外，Jiebo Luo 曾擔(dān)任 ACM Multimedia 2010、IEEE CVPR 2012、ACM ICMR 2016 和 IEEE ICIP 2017 的程序主席，現(xiàn)為 IEEE Transactions onMultimedia總主編。

宋井寬，電子科技大學(xué)教授，博士生導(dǎo)師。2014年博士畢業(yè)于澳大利亞昆士蘭大學(xué)，2014-2016 年在特倫托大學(xué)擔(dān)任博士后，2016-2017 在哥倫比亞大學(xué)擔(dān)任博士后研究員。

個(gè)人主頁(yè)：https://cfm.uestc.edu.cn/~songjingkuan/

宋井寬教授在多媒體、計(jì)算機(jī)視覺(jué)、人工智能等領(lǐng)域的重要會(huì)議和期刊發(fā)表論文近 100 篇，谷歌學(xué)術(shù)引用 7188次，H-index = 40。曾獲 ICPR 2016 最佳論文獎(jiǎng)，SIGIR 2017最佳論文提名獎(jiǎng)。擔(dān)任過(guò) IEEE TPAMI, IEEE TIP, IEEE TMM, IJCV等多個(gè)頂級(jí)期刊的特邀評(píng)審和多個(gè)國(guó)際頂級(jí)會(huì)議（CVPR’18, MM'18, IJCAI'18）的程序委員。

AI科技評(píng)論將獲獎(jiǎng)?wù)撐暮?jiǎn)單介紹如下：

最佳論文獎(jiǎng)

論文題目：Video Background Music Generation with Controllable Music Transformer

獲獎(jiǎng)團(tuán)隊(duì)：北航團(tuán)隊(duì)

論文地址：https://dl.acm.org/doi/abs/10.1145/3474085.3475195

摘要：此項(xiàng)工作中，我們解決了視頻背景音樂(lè)生成的問(wèn)題。此前的一些工作雖然成功生成了音樂(lè)，但無(wú)法專為給定視頻生成一首旋律優(yōu)美的音樂(lè)，并且沒(méi)有考慮到視頻與音樂(lè)節(jié)奏一致性的問(wèn)題。為了生成與給定視頻相匹配的背景音樂(lè)，我們首先在視頻與背景音樂(lè)之間建立了節(jié)奏關(guān)系。特別強(qiáng)調(diào)的是，我們將視頻中的時(shí)間、運(yùn)動(dòng)速度和運(yùn)動(dòng)顯著性與音樂(lè)中的節(jié)拍、模擬音符密度和模擬音符強(qiáng)度分別聯(lián)系起來(lái)。然后，我們提出了CMT，這是一個(gè)可控的音樂(lè)變換器，能夠?qū)ι鲜龉?jié)奏特征進(jìn)行局部控制，還能夠?qū)τ脩糁付ǖ囊魳?lè)類型和使用的樂(lè)器進(jìn)行全局控制。主客觀雙重評(píng)價(jià)表明，生成的背景音樂(lè)與輸入視頻的兼容性令人滿意，并且音樂(lè)質(zhì)量也令人印象深刻。

最佳學(xué)生論文獎(jiǎng)

論文題目：aBio: Active Bi-Olfactory Display Using Subwoofers for Virtual Reality

獲獎(jiǎng)團(tuán)隊(duì)：臺(tái)灣大學(xué)、國(guó)立臺(tái)南藝術(shù)大學(xué)

論文地址：https://dl.acm.org/doi/10.1145/3474085.3475678

摘要：在虛擬現(xiàn)實(shí)（VR）中加入嗅覺(jué)提示可以增強(qiáng)用戶在虛擬環(huán)境中的沉浸感，而對(duì)氣味的精確控制將促進(jìn)用戶獲得更真實(shí)的體驗(yàn)。在本篇論文，我們介紹了aBio，這是一個(gè)主動(dòng)的雙嗅覺(jué)顯示系統(tǒng)，它能夠?qū)馕毒珳?zhǔn)地傳遞到特定的位置，而不是將氣味擴(kuò)散到整個(gè)空氣中。aBio通過(guò)碰撞兩個(gè)雙揚(yáng)聲器的渦流發(fā)生器發(fā)射的渦流環(huán)，可以在緩沖空氣沖擊力的同時(shí)為用戶提供在空氣中的自然嗅覺(jué)體驗(yàn)。根據(jù)不同應(yīng)用的各種要求，渦流環(huán)的碰撞點(diǎn)可以定位在用戶鼻子前的任何地方。為了驗(yàn)證設(shè)備的有效性，了解用戶在系統(tǒng)中使用不同參數(shù)時(shí)的體驗(yàn)，我們進(jìn)行了一系列的實(shí)驗(yàn)和用戶研究。結(jié)果表明，我們所提出的系統(tǒng)是有效的，用戶在感知?dú)馕兜耐瑫r(shí)沒(méi)有感覺(jué)到觸覺(jué)干擾，而系統(tǒng)只消耗了非常少量的芳香精油。我們相信aBio在利用高效地傳遞氣味以提高VR的體驗(yàn)感方面具有很大潛力。

最佳Demo獎(jiǎng)

論文題目：ViDA-MAN: Visual Dialog with Digital Humans

獲獎(jiǎng)團(tuán)隊(duì)：京東AI 研究院、咪咕文化科技公司

論文地址：https://dl.acm.org/doi/10.1145/3474085.3478560

摘要：本篇論文中，我們展示了 ViDA-MAN，這是一個(gè)用于多模式交互的數(shù)字人代理，它能夠?qū)磿r(shí)的語(yǔ)音查詢提供實(shí)時(shí)的視聽(tīng)回應(yīng)。與傳統(tǒng)的文本或語(yǔ)音系統(tǒng)相比，ViDA-MAN能夠提供類似于人的交互方式（例如，生動(dòng)的聲音、自然的面部表情和身體手勢(shì)）。若給出一個(gè)語(yǔ)音請(qǐng)求，該演示能夠在亞秒級(jí)的延遲中以高質(zhì)量的視頻作出回應(yīng)。為了提供沉浸式用戶體驗(yàn)，ViDA-MAN無(wú)縫整合了多模式技術(shù)，包括聲學(xué)語(yǔ)音識(shí)別（ASR）、多輪對(duì)話、文本到語(yǔ)音（TTS）、談話頭像視頻生成等。在大型知識(shí)庫(kù)的加持下，ViDA-MAN能夠與用戶進(jìn)行不同主題的聊天，包括閑聊、天氣、設(shè)備控制、新聞推薦、預(yù)訂酒店，以及通過(guò)結(jié)構(gòu)化知識(shí)回答各種問(wèn)題等。

最佳開(kāi)源獎(jiǎng)

論文題目：X-modaler: A Versatile and High-performance Codebase for Cross-modal Analytics

獲獎(jiǎng)團(tuán)隊(duì)：京東AI 研究院

論文地址：https://arxiv.org/pdf/2108.08217.pdf

摘要：隨著深度學(xué)習(xí)在過(guò)去十年內(nèi)的興起和發(fā)展，持續(xù)地創(chuàng)新和突破推動(dòng)了多媒體領(lǐng)域視覺(jué)和語(yǔ)言之間的跨模態(tài)分析技術(shù)的發(fā)展。然而，還沒(méi)有任何開(kāi)源的代碼庫(kù)支持以統(tǒng)一和模塊化的方式訓(xùn)練和部署的眾多跨模態(tài)分析的神經(jīng)網(wǎng)絡(luò)模型。在此項(xiàng)工作中，我們提出了X-modaler，這是一個(gè)多功能、高性能的代碼庫(kù)，它將最先進(jìn)的跨模態(tài)分析分成幾個(gè)通用的階段（例如，預(yù)處理、編碼器、跨模態(tài)交互、解碼器和解碼策略）。每個(gè)階段都涵蓋了在一系列先進(jìn)技術(shù)中被廣泛采用的模塊功能，并允許在兩者之間無(wú)縫切換。這種方式能夠自然靈活地實(shí)現(xiàn)最先進(jìn)的圖像字幕、視頻字幕和視覺(jué)語(yǔ)言預(yù)訓(xùn)練的算法，旨在促進(jìn)研究界的快速發(fā)展。同時(shí)，由于幾個(gè)階段的有效模塊化設(shè)計(jì)（如跨模態(tài)交互）在不同的視覺(jué)語(yǔ)言任務(wù)中是共享的，X-modaler可以簡(jiǎn)單地?cái)U(kuò)展到跨模態(tài)分析的其它任務(wù)的啟動(dòng)原型，包括視覺(jué)問(wèn)題回答、視覺(jué)常識(shí)推理和跨模式檢索。X-modaler是一個(gè)Apache許可的代碼庫(kù)，它的源代碼、樣本項(xiàng)目和預(yù)訓(xùn)練的模型都可以在線獲得：https://github.com/YehLi/xmodaler

SIGMM時(shí)間檢驗(yàn)獎(jiǎng)

論文題目：Dynamic adaptive streaming over HTTP——：standards and design principles

獲獎(jiǎng)?wù)撸篢homas Stockhammer

論文地址：https://dl.acm.org/doi/abs/10.1145/1943552.1943572

摘要：在本篇論文，我們對(duì) 3GPP 和 MPEG 草案版本中的 HTTP 動(dòng)態(tài)自適應(yīng)流媒體 (Dynamic Adaptive Streaming over HTTP, DASH) 的規(guī)范提供了一些見(jiàn)解和背景知識(shí)。具體來(lái)說(shuō)，3GPP 版本提供了媒體呈現(xiàn)、Segment 格式和交付協(xié)議的規(guī)范描述。此外，它還添加了有關(guān) DASH 客戶端如何使用提供的信息為用戶建立流媒體服務(wù)的信息性描述。該解決方案支持不同的服務(wù)類型（例如，按需、實(shí)時(shí)、時(shí)移觀看）、不同的功能（例如，自適應(yīng)比特率切換、多語(yǔ)言支持、廣告插入、技巧模式、DRM）和不同的部署選項(xiàng)。此外，還提供了設(shè)計(jì)原則和示例。

SIGMM優(yōu)秀博士論文獎(jiǎng)

論文提題目：Video Adaption for High Quality Content Deliver

獲獎(jiǎng)團(tuán)隊(duì)：馬薩諸塞大學(xué)阿默斯特分校

摘要：在本論文中，我們提出了視頻自適應(yīng)算法來(lái)提供內(nèi)容并最大限度地提高觀眾的體驗(yàn)質(zhì)量（QoE）。視頻提供商將視頻分成多個(gè)短片段，并以多個(gè)比特率對(duì)每個(gè)片段進(jìn)行編碼。視頻播放器自適應(yīng)地選擇要下載的每個(gè)片段的比特率，可能為連續(xù)的片段選擇不同的比特率。我們將比特率自適應(yīng)制定為效用最大化問(wèn)題，并設(shè)計(jì)算法以提供可證明接近最佳的時(shí)間平均效用。我們?cè)O(shè)計(jì)的算法可以在生產(chǎn)系統(tǒng)上提供 iv 視頻，保持理論算法的優(yōu)勢(shì)，同時(shí)也應(yīng)對(duì)生產(chǎn)中面臨的挑戰(zhàn)。我們的算法現(xiàn)在是官方 DASH 參考播放器DASH .js的一部分，并被視頻提供商在生產(chǎn)環(huán)境中使用。大多數(shù)在線視頻都是通過(guò) TCP 上的 HTTP 流式傳輸?shù)?。TCP 提供可靠的傳輸，但代價(jià)是在重新傳輸丟失的數(shù)據(jù)包和線頭阻塞時(shí)會(huì)產(chǎn)生額外的延遲。使用 QUIC 允許視頻播放器容忍一些數(shù)據(jù)包丟失而不會(huì)招致性能損失。我們?cè)O(shè)計(jì)和實(shí)施的算法利用這種額外的靈活性，通過(guò)減少延遲和重新緩沖同時(shí)允許一些數(shù)據(jù)包丟失來(lái)提供更高的整體 QoE。我們開(kāi)發(fā)了一個(gè)開(kāi)源仿真環(huán)境，用于對(duì) 360° 算法進(jìn)行快速且可重復(fù)的測(cè)試。我們開(kāi)發(fā)了自適應(yīng)算法，通過(guò)分配更多帶寬資源來(lái)提供觀眾更有可能看到的圖塊，同時(shí)確保視頻播放器在觀眾改變頭部姿勢(shì)時(shí)及時(shí)做出反應(yīng)，從而提供高 QoE。

關(guān)于ACM MM2021

ACM Multimedia（簡(jiǎn)稱ACM MM）是國(guó)際多媒體領(lǐng)域?qū)W術(shù)和產(chǎn)業(yè)界交流的最頂級(jí)盛會(huì)，也是中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦的多媒體領(lǐng)域唯一的A類國(guó)際學(xué)術(shù)會(huì)議。

第29屆 ACM Multimedia 2021于10月20日至24日在成都舉辦，由電子科技大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)、ACM Fellow申恒濤教授主持開(kāi)幕。本次會(huì)議是歷史上在我國(guó)在中西部地區(qū)舉辦的第一個(gè)計(jì)算機(jī)領(lǐng)域的A類會(huì)議，大會(huì)共接收到了來(lái)自40多個(gè)國(guó)家和地區(qū)的2000余篇投稿論文，參會(huì)學(xué)者也達(dá)1000余名，兩項(xiàng)數(shù)字皆創(chuàng)歷史新高！

ACM Multimedia 2009 曾在北京舉辦，ACM Multimedia 2021 是該會(huì)議第二次在中國(guó)舉辦。申恒濤教授自 2000 年開(kāi)始參加 ACM Multimedia，在該領(lǐng)域做出大量創(chuàng)新性工作。其團(tuán)隊(duì)成員曾于2013年和2017年分別獲得該會(huì)議的最佳學(xué)生論文獎(jiǎng)和最佳論文獎(jiǎng)。申恒濤教授也曾作為大會(huì)程序委員會(huì)共同主席，成功在澳大利亞舉辦過(guò)ACM Multimedia 2015。ACM Multimedia 2021 在促進(jìn)國(guó)際學(xué)術(shù)交流與合作的同時(shí)，將大大提高電子科技大學(xué)和成都的國(guó)際知名度與國(guó)際學(xué)術(shù)地位，助力人工智能領(lǐng)域的快速發(fā)展。

參考鏈接：https://2021.acmmm.org/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。