丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能開(kāi)發(fā)者 正文
發(fā)私信給楊鯉萍
發(fā)送

0

專訪西安交大 XJTU-Tripler :DAC 2019 國(guó)內(nèi)唯一前三隊(duì)伍!

本文作者: 楊鯉萍 2019-06-30 14:15
導(dǎo)語(yǔ):目前,他們已開(kāi)源比賽相關(guān)工具

雷鋒網(wǎng) AI 科技評(píng)論按:由電子自動(dòng)化設(shè)計(jì)頂級(jí)會(huì)議 DAC 2019 主辦的「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」于美國(guó)拉斯維加斯落下帷幕。在比賽中,西安交通大學(xué)人工智能與機(jī)器人研究所團(tuán)隊(duì) XJTU-Tripler 憑借對(duì)算法和架構(gòu)的特殊優(yōu)化,最終斬獲 FPGA 賽道的亞軍;同時(shí)作為國(guó)內(nèi)唯一一個(gè)進(jìn)入前三的隊(duì)伍,他們計(jì)劃開(kāi)源比賽相關(guān)工具,并且提供后續(xù)支持。針對(duì)他們?cè)诒敬伪荣愔兴〉玫膬?yōu)異成績(jī),雷鋒網(wǎng) AI 科技評(píng)論將對(duì)他們的獨(dú)家采訪整理如下。

專訪西安交大 XJTU-Tripler :DAC 2019 國(guó)內(nèi)唯一前三隊(duì)伍!

西安交通大學(xué)——XJTU-Tripler

Q:XJTU-Tripler 團(tuán)隊(duì)師承何處?

上一屆「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」分別由清華大學(xué)與中科院在比賽中取得了傲人的成績(jī)。而這次國(guó)內(nèi)唯一一個(gè)進(jìn)入前三的隊(duì)伍,來(lái)自西安交通大學(xué)——XJTU-Tripler 團(tuán)隊(duì)。

XJTU-Tripler 團(tuán)隊(duì)是來(lái)自西安交通大學(xué)人工智能與機(jī)器人研究所任鵬舉副教授所在的認(rèn)知計(jì)算架構(gòu)團(tuán)隊(duì)。團(tuán)隊(duì)的主要工作是專注于人工智能芯片設(shè)計(jì)的相關(guān)工作,其研究意義在于打通算法到落地產(chǎn)品的整個(gè)過(guò)程。整個(gè)團(tuán)隊(duì)的平均年齡只有 25 歲,是相當(dāng)充滿激情與活力的年輕團(tuán)隊(duì)。

在本次比賽中,共有 10 人參賽,其中趙博然,趙文哲,夏天,陳飛,樊瓏,宗鵬陳負(fù)責(zé) AI 加速器 HiPU 的設(shè)計(jì)、PS 側(cè)的 ARM 與 HiPU 的交互、Pynq 上系統(tǒng)軟件開(kāi)發(fā)以及 HiPU 硬件代碼仿真;魏亞?wèn)|,涂志俊負(fù)責(zé)算法底層搭建、神經(jīng)網(wǎng)絡(luò)算法的量化以及和硬件組的對(duì)接;趙之旭,董志偉負(fù)責(zé)目標(biāo)檢測(cè)算法的優(yōu)化。

Q:團(tuán)隊(duì)與 DAC 的淵源?

盡管這支團(tuán)隊(duì)非常年輕化,但他們所取得的一些成績(jī)卻絲毫都不含糊。

去年,他們也參加了2018年全球自動(dòng)化系統(tǒng)設(shè)計(jì)大賽(DAC)TX2 賽道的比賽,實(shí)現(xiàn)了 tensorflow 到 tensorRT 的自動(dòng)編譯,并將編譯器代碼開(kāi)源至 https://github.com/zhaozhixu/LightNet (可以通過(guò)這個(gè)編譯器完成個(gè)人模型在嵌入式GPU上的加速)。

盡管那是他們第一次參加這樣的比賽,但最終他們?cè)诩ち业母?jìng)爭(zhēng)中脫穎而出,取得了 TX2 組第四名的優(yōu)良成績(jī)。而經(jīng)過(guò)一年的沉淀,不管是在技術(shù)上還是思想上,他們也都更成熟;今年他們憑借著對(duì)算法和架構(gòu)的獨(dú)特優(yōu)化,最終斬獲 FPGA 賽道的亞軍。

Q:是什么驅(qū)使 XJTU-Tripler 團(tuán)隊(duì)參加這類比賽?

我們都知道,在學(xué)生階段多參加一些比賽和社會(huì)實(shí)踐,于個(gè)人而言,一定意義非凡。這不光可以將所學(xué)到的理論轉(zhuǎn)化為輸出,把知識(shí)落到實(shí)處;同時(shí)也會(huì)鍛煉個(gè)人的許多能力,比如團(tuán)隊(duì)協(xié)作、應(yīng)變能力、社會(huì)認(rèn)知敏感度等等。而鍛煉所得的這些能力,將來(lái)能幫助我們更好去適應(yīng)社會(huì)的一系列需求。

除此之外,團(tuán)隊(duì)成員亞?wèn)|還告訴我們:如何選擇適合自己和團(tuán)隊(duì)的比賽,也是一個(gè)非常值得深思的問(wèn)題。對(duì)于人工智能與機(jī)器人領(lǐng)域,目前大多數(shù)比賽比如 ImageNet 比賽往往需要大量的集群去進(jìn)行算法的迭代,而準(zhǔn)確率越高的網(wǎng)絡(luò)往往需要越大的算力去支持,所以參加這樣的比賽,所需考量的成本是較高的。但 DAC 比賽相對(duì)來(lái)講,它更關(guān)注神經(jīng)網(wǎng)絡(luò)算法在嵌入式端的落地,這不僅解決了成本問(wèn)題,同時(shí)還和團(tuán)隊(duì)一直追求的打通算法到落地這樣的目標(biāo)相契合。所以,XJTU-Tripler 把握住了這樣的機(jī)會(huì)。

賽場(chǎng)時(shí)分

Q:在比賽中,XJTU-Tripler 團(tuán)隊(duì)遇到的最大困難是什么?

XJTU-Tripler 團(tuán)隊(duì)負(fù)責(zé)人告訴我們:在這次比賽中,一共遇到了兩個(gè)比較大的難題。

第一個(gè)難題是在于算法知識(shí)層面。在比賽的過(guò)程中,算法和架構(gòu)需要核對(duì)網(wǎng)絡(luò)每一層的所有輸出以確保最終的輸出結(jié)果無(wú)誤,因此對(duì)于各種算法的充分理解則需要花費(fèi)大量的時(shí)間與精力。其中令團(tuán)隊(duì)印象比較深刻的是像 tf.round 函數(shù),和平時(shí)接觸較多的 round 函數(shù)是有細(xì)微區(qū)別的,如果不注意這些小細(xì)節(jié),在調(diào)試過(guò)程中就很容易出現(xiàn)各種各樣的問(wèn)題;再比如 tensorflow 中的 padding 方案,也和平時(shí)學(xué)的有所出入;所以遇到這種問(wèn)題時(shí),一定得對(duì)每個(gè)細(xì)節(jié)嚴(yán)格把關(guān),并且吃透網(wǎng)絡(luò)中的各類函數(shù)。

一方面,這會(huì)考驗(yàn)每個(gè)團(tuán)隊(duì)成員的學(xué)習(xí)能力,需要我們?cè)诙虝r(shí)間內(nèi),掌握比平時(shí)多幾倍的知識(shí)量;另一方面,還考驗(yàn)著成員之間的合作與互助,因?yàn)轭~外的工作量只有經(jīng)過(guò)良好的分工與協(xié)助,才能高效高質(zhì)的完成。

第二個(gè)難題是在工作量層面。在網(wǎng)絡(luò)量化的過(guò)程中,層之間沒(méi)有完全解耦,前后層之間的交互會(huì)大大增加實(shí)際的壓縮工作;而解決這個(gè)問(wèn)題,要么選擇修改硬件架構(gòu),要么只能硬著頭皮挨個(gè)層去核對(duì)。而無(wú)論哪種方式,對(duì)團(tuán)隊(duì)而言,都是一項(xiàng)極大的挑戰(zhàn)。而最終團(tuán)隊(duì)從各方面進(jìn)行仔細(xì)的考量后,選擇了后者,最終花費(fèi)了將近三分之一的時(shí)間(比預(yù)想時(shí)間更短),完成了這些工作。

Q:比賽中遇到哪些實(shí)力較為強(qiáng)勁的對(duì)手?

XJTU-Tripler 團(tuán)隊(duì)一致表示:此次碰到的最強(qiáng)勁的對(duì)手當(dāng)屬 UIUC,也就是這次的冠軍隊(duì)伍。

他們的優(yōu)勢(shì)集中在網(wǎng)絡(luò)設(shè)計(jì)方面,通過(guò)采用了一個(gè)規(guī)模很小的網(wǎng)絡(luò)達(dá)到了檢測(cè)精度超高的效果,算法優(yōu)化方面表現(xiàn)十分強(qiáng)大;并且可以在賽方提供的數(shù)據(jù)集上取得很高的準(zhǔn)確率。盡管最后他們的 FPGA 代碼優(yōu)化還有所欠缺,比 TX2 慢了 4 倍有余,但是算法優(yōu)化結(jié)果依舊非常令人震驚。

Q:XJTU-Tripler 團(tuán)隊(duì)的優(yōu)勢(shì)及創(chuàng)新點(diǎn)?

與其他競(jìng)賽組相比,團(tuán)隊(duì)本次的參賽方案采用了 Verilog 底層設(shè)計(jì)語(yǔ)言進(jìn)行開(kāi)發(fā)。

從原理上來(lái)講,與其他采用 HLS 工具鏈的方案相比,采用這種設(shè)計(jì)語(yǔ)言完成的 AI 加速器算力更強(qiáng),并且支持的算子靈活度更高,這將有利于加快任務(wù)執(zhí)行速度;而從結(jié)果來(lái)看,執(zhí)行相同的網(wǎng)絡(luò),這樣的設(shè)計(jì)方案在 FPGA 上執(zhí)行的速度確實(shí)能夠比在 TX2 上快很多。

淺析技術(shù)

在網(wǎng)絡(luò)參數(shù)量化過(guò)程部分,為了適應(yīng) FPGA 的定點(diǎn)運(yùn)算,待所有參數(shù)訓(xùn)練完成后,則需要對(duì)所有參數(shù)進(jìn)行量化操作。該團(tuán)隊(duì)將網(wǎng)絡(luò)參數(shù)和 feature map 均量化為 8bit 定點(diǎn)。

專訪西安交大 XJTU-Tripler :DAC 2019 國(guó)內(nèi)唯一前三隊(duì)伍!

網(wǎng)絡(luò)參數(shù)的量化流程

經(jīng)過(guò)量化后,最終目標(biāo)檢測(cè)網(wǎng)絡(luò) ShuffleDet 的卷積層數(shù)約為 74 層,權(quán)重約為 1.94MB,Bias 約為 78KB。量化前的全精度準(zhǔn)確率為 67.1%,量化后的精度為 61.5%,量化操作帶來(lái)的精度損失為 5.6%。

 Q:在這部分中提到量化后產(chǎn)生了一定的精度損失,這會(huì)對(duì)最終的結(jié)果帶來(lái)什么影響?

8bits 量化后造成了 0.056 的 IoU 損失(-8.3%),但 FPGA 上的設(shè)計(jì)實(shí)現(xiàn)帶來(lái)了 28.87 的幀率提升(+131%)和 8309J 的能量減少(-46.56%)。量化精度掉的較多將會(huì)直接影響到最終的分?jǐn)?shù)。

Q:本次比賽的主體網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2,它與和 shuffleDet 之間的差別是什么?

亞?wèn)|:「ShuffleNet V2 是 Face++提出的網(wǎng)絡(luò),論文中這個(gè)網(wǎng)絡(luò)被應(yīng)用于分類任務(wù),本次比賽我們主體的網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2 這個(gè)高效的網(wǎng)絡(luò),用于檢測(cè)圖像基礎(chǔ)特征的提取。

在 ShuffleNet V2 之后,我們會(huì)增加多個(gè)模塊用于進(jìn)一步增加網(wǎng)絡(luò)深度,同時(shí)在網(wǎng)絡(luò)的最后加入一個(gè)目標(biāo)檢測(cè)的模塊用于回歸目標(biāo)的類別以及標(biāo)定框?!?/p>

 獲獎(jiǎng)背后的秘密

Q:參加此次比賽對(duì)于你們個(gè)人、或者實(shí)驗(yàn)室來(lái)說(shuō),有何助益?

XJTU-Tripler 團(tuán)隊(duì)表示:「這次 DAC2019 比賽涉及了算法設(shè)計(jì)、算法優(yōu)化、神經(jīng)網(wǎng)絡(luò)量化、并行程序設(shè)計(jì)、處理器設(shè)計(jì)、協(xié)處理器設(shè)計(jì)、軟硬件接口設(shè)計(jì)、系統(tǒng)速度和功耗優(yōu)化優(yōu)化等多個(gè)方面,比賽極大地增強(qiáng)了我們團(tuán)隊(duì)的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)的設(shè)計(jì)能力,同時(shí)提高了很多寶貴的設(shè)計(jì)經(jīng)驗(yàn)。

至于獲得經(jīng)驗(yàn)和收獲,第一、戰(zhàn)略上目標(biāo)決定位置——求上得中求中得下,戰(zhàn)術(shù)上設(shè)計(jì)反饋決定和設(shè)計(jì)對(duì)標(biāo)決定設(shè)計(jì)高度;第二、好的設(shè)計(jì)是面向需求的各個(gè)方面的折中,某一方面的優(yōu)勢(shì)不一定對(duì)于產(chǎn)品本身來(lái)說(shuō)是好事;第三也是最重要的:大多數(shù)艱難的問(wèn)題答案都在人,尤其在于頂尖人才,而頂尖人才的競(jìng)爭(zhēng)必將是成敗之爭(zhēng)。因此,對(duì)于每個(gè)人來(lái)講,只有盡力讓自己變得更加優(yōu)秀,才會(huì)擁有更強(qiáng)的競(jìng)爭(zhēng)力!」

 Q:大賽后有什么技術(shù)方面的干貨想要分享給大家嗎?

「算法方面:推薦臺(tái)大李弘毅老師的深度學(xué)習(xí)課程,建議大家可以多抽出時(shí)間來(lái)閱讀最新的感興趣的 paper,全方面提升個(gè)人知識(shí)庫(kù);

邏輯設(shè)計(jì)方面:推薦伯克利大學(xué)的公開(kāi)課 CS152;

代碼開(kāi)放方面:推薦 git,VScode?!?/p>

 未來(lái)設(shè)想

Q:后續(xù)對(duì)于此次的參賽方案有什么進(jìn)一步的優(yōu)化打算?

「未來(lái)該團(tuán)隊(duì)的設(shè)計(jì)需要在以下幾個(gè)方面繼續(xù)加強(qiáng):首先,輕量級(jí)算法設(shè)計(jì)與訓(xùn)練。團(tuán)隊(duì)將投入更多的精力去分析各個(gè)網(wǎng)絡(luò)結(jié)構(gòu)在量化后的優(yōu)劣;其次,硬件設(shè)計(jì)需要繼續(xù)迭代,下一版設(shè)計(jì)會(huì)提高靈活性以支持更多模型,同時(shí)精簡(jiǎn)運(yùn)算邏輯以在 ZU3 上實(shí)現(xiàn)更高的峰值算力。

除了繼續(xù)提升和優(yōu)化 FPGA 的設(shè)計(jì)外,我們會(huì)進(jìn)行原型芯片設(shè)計(jì)和流片。同時(shí),我們也會(huì)將 DAC19 競(jìng)賽相關(guān)的代碼進(jìn)行開(kāi)源。」

Q:開(kāi)源后,你們將如何維護(hù)呢?

「該方案中注釋較少,整體代碼不夠簡(jiǎn)潔和系統(tǒng),另外還有很多臨時(shí)添加的解決方案。我們首先可以確保該工程可以完整地工作在 Ultra96 這個(gè)開(kāi)發(fā)板上,后續(xù)會(huì)根據(jù)大家的反饋,逐漸提高可讀性。

我們項(xiàng)目主分支會(huì)進(jìn)一步增加支持的網(wǎng)絡(luò),優(yōu)化代碼邏輯,并在合適的時(shí)候移植到開(kāi)源版本當(dāng)中。該方案已經(jīng)在實(shí)際項(xiàng)目中落地實(shí)踐了,主要應(yīng)用于場(chǎng)景有端側(cè)、低功耗、目標(biāo)檢測(cè)?!?/p>

雷鋒網(wǎng) AI 科技評(píng)論

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知

專訪西安交大 XJTU-Tripler :DAC 2019 國(guó)內(nèi)唯一前三隊(duì)伍!

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)