0
| 本文作者： 楊鯉萍 | 2019-06-30 14:15 |
雷鋒網(wǎng) AI 科技評(píng)論按：由電子自動(dòng)化設(shè)計(jì)頂級(jí)會(huì)議 DAC 2019 主辦的「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」于美國(guó)拉斯維加斯落下帷幕。在比賽中，西安交通大學(xué)人工智能與機(jī)器人研究所團(tuán)隊(duì) XJTU-Tripler 憑借對(duì)算法和架構(gòu)的特殊優(yōu)化，最終斬獲 FPGA 賽道的亞軍；同時(shí)作為國(guó)內(nèi)唯一一個(gè)進(jìn)入前三的隊(duì)伍，他們計(jì)劃開(kāi)源比賽相關(guān)工具，并且提供后續(xù)支持。針對(duì)他們?cè)诒敬伪荣愔兴〉玫膬?yōu)異成績(jī)，雷鋒網(wǎng) AI 科技評(píng)論將對(duì)他們的獨(dú)家采訪整理如下。
Q：XJTU-Tripler 團(tuán)隊(duì)師承何處？
上一屆「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」分別由清華大學(xué)與中科院在比賽中取得了傲人的成績(jī)。而這次國(guó)內(nèi)唯一一個(gè)進(jìn)入前三的隊(duì)伍，來(lái)自西安交通大學(xué)——XJTU-Tripler 團(tuán)隊(duì)。
XJTU-Tripler 團(tuán)隊(duì)是來(lái)自西安交通大學(xué)人工智能與機(jī)器人研究所任鵬舉副教授所在的認(rèn)知計(jì)算架構(gòu)團(tuán)隊(duì)。團(tuán)隊(duì)的主要工作是專注于人工智能芯片設(shè)計(jì)的相關(guān)工作，其研究意義在于打通算法到落地產(chǎn)品的整個(gè)過(guò)程。整個(gè)團(tuán)隊(duì)的平均年齡只有 25 歲，是相當(dāng)充滿激情與活力的年輕團(tuán)隊(duì)。
在本次比賽中，共有 10 人參賽，其中趙博然，趙文哲，夏天，陳飛，樊瓏，宗鵬陳負(fù)責(zé) AI 加速器 HiPU 的設(shè)計(jì)、PS 側(cè)的 ARM 與 HiPU 的交互、Pynq 上系統(tǒng)軟件開(kāi)發(fā)以及 HiPU 硬件代碼仿真；魏亞?wèn)|，涂志俊負(fù)責(zé)算法底層搭建、神經(jīng)網(wǎng)絡(luò)算法的量化以及和硬件組的對(duì)接；趙之旭，董志偉負(fù)責(zé)目標(biāo)檢測(cè)算法的優(yōu)化。
Q：團(tuán)隊(duì)與 DAC 的淵源？
盡管這支團(tuán)隊(duì)非常年輕化，但他們所取得的一些成績(jī)卻絲毫都不含糊。
去年，他們也參加了2018年全球自動(dòng)化系統(tǒng)設(shè)計(jì)大賽（DAC）TX2 賽道的比賽，實(shí)現(xiàn)了 tensorflow 到 tensorRT 的自動(dòng)編譯，并將編譯器代碼開(kāi)源至 https://github.com/zhaozhixu/LightNet （可以通過(guò)這個(gè)編譯器完成個(gè)人模型在嵌入式GPU上的加速）。
盡管那是他們第一次參加這樣的比賽，但最終他們?cè)诩ち业母?jìng)爭(zhēng)中脫穎而出，取得了 TX2 組第四名的優(yōu)良成績(jī)。而經(jīng)過(guò)一年的沉淀，不管是在技術(shù)上還是思想上，他們也都更成熟；今年他們憑借著對(duì)算法和架構(gòu)的獨(dú)特優(yōu)化，最終斬獲 FPGA 賽道的亞軍。
Q：是什么驅(qū)使 XJTU-Tripler 團(tuán)隊(duì)參加這類比賽？
我們都知道，在學(xué)生階段多參加一些比賽和社會(huì)實(shí)踐，于個(gè)人而言，一定意義非凡。這不光可以將所學(xué)到的理論轉(zhuǎn)化為輸出，把知識(shí)落到實(shí)處；同時(shí)也會(huì)鍛煉個(gè)人的許多能力，比如團(tuán)隊(duì)協(xié)作、應(yīng)變能力、社會(huì)認(rèn)知敏感度等等。而鍛煉所得的這些能力，將來(lái)能幫助我們更好去適應(yīng)社會(huì)的一系列需求。
除此之外，團(tuán)隊(duì)成員亞?wèn)|還告訴我們：如何選擇適合自己和團(tuán)隊(duì)的比賽，也是一個(gè)非常值得深思的問(wèn)題。對(duì)于人工智能與機(jī)器人領(lǐng)域，目前大多數(shù)比賽比如 ImageNet 比賽往往需要大量的集群去進(jìn)行算法的迭代，而準(zhǔn)確率越高的網(wǎng)絡(luò)往往需要越大的算力去支持，所以參加這樣的比賽，所需考量的成本是較高的。但 DAC 比賽相對(duì)來(lái)講，它更關(guān)注神經(jīng)網(wǎng)絡(luò)算法在嵌入式端的落地，這不僅解決了成本問(wèn)題，同時(shí)還和團(tuán)隊(duì)一直追求的打通算法到落地這樣的目標(biāo)相契合。所以，XJTU-Tripler 把握住了這樣的機(jī)會(huì)。
Q：在比賽中，XJTU-Tripler 團(tuán)隊(duì)遇到的最大困難是什么？
XJTU-Tripler 團(tuán)隊(duì)負(fù)責(zé)人告訴我們：在這次比賽中，一共遇到了兩個(gè)比較大的難題。
第一個(gè)難題是在于算法知識(shí)層面。在比賽的過(guò)程中，算法和架構(gòu)需要核對(duì)網(wǎng)絡(luò)每一層的所有輸出以確保最終的輸出結(jié)果無(wú)誤，因此對(duì)于各種算法的充分理解則需要花費(fèi)大量的時(shí)間與精力。其中令團(tuán)隊(duì)印象比較深刻的是像 tf.round 函數(shù)，和平時(shí)接觸較多的 round 函數(shù)是有細(xì)微區(qū)別的，如果不注意這些小細(xì)節(jié)，在調(diào)試過(guò)程中就很容易出現(xiàn)各種各樣的問(wèn)題；再比如 tensorflow 中的 padding 方案，也和平時(shí)學(xué)的有所出入；所以遇到這種問(wèn)題時(shí)，一定得對(duì)每個(gè)細(xì)節(jié)嚴(yán)格把關(guān)，并且吃透網(wǎng)絡(luò)中的各類函數(shù)。
一方面，這會(huì)考驗(yàn)每個(gè)團(tuán)隊(duì)成員的學(xué)習(xí)能力，需要我們?cè)诙虝r(shí)間內(nèi)，掌握比平時(shí)多幾倍的知識(shí)量；另一方面，還考驗(yàn)著成員之間的合作與互助，因?yàn)轭~外的工作量只有經(jīng)過(guò)良好的分工與協(xié)助，才能高效高質(zhì)的完成。
第二個(gè)難題是在工作量層面。在網(wǎng)絡(luò)量化的過(guò)程中，層之間沒(méi)有完全解耦，前后層之間的交互會(huì)大大增加實(shí)際的壓縮工作；而解決這個(gè)問(wèn)題，要么選擇修改硬件架構(gòu)，要么只能硬著頭皮挨個(gè)層去核對(duì)。而無(wú)論哪種方式，對(duì)團(tuán)隊(duì)而言，都是一項(xiàng)極大的挑戰(zhàn)。而最終團(tuán)隊(duì)從各方面進(jìn)行仔細(xì)的考量后，選擇了后者，最終花費(fèi)了將近三分之一的時(shí)間（比預(yù)想時(shí)間更短），完成了這些工作。
Q：比賽中遇到哪些實(shí)力較為強(qiáng)勁的對(duì)手？
XJTU-Tripler 團(tuán)隊(duì)一致表示：此次碰到的最強(qiáng)勁的對(duì)手當(dāng)屬 UIUC，也就是這次的冠軍隊(duì)伍。
他們的優(yōu)勢(shì)集中在網(wǎng)絡(luò)設(shè)計(jì)方面，通過(guò)采用了一個(gè)規(guī)模很小的網(wǎng)絡(luò)達(dá)到了檢測(cè)精度超高的效果，算法優(yōu)化方面表現(xiàn)十分強(qiáng)大；并且可以在賽方提供的數(shù)據(jù)集上取得很高的準(zhǔn)確率。盡管最后他們的 FPGA 代碼優(yōu)化還有所欠缺，比 TX2 慢了 4 倍有余，但是算法優(yōu)化結(jié)果依舊非常令人震驚。
Q：XJTU-Tripler 團(tuán)隊(duì)的優(yōu)勢(shì)及創(chuàng)新點(diǎn)？
與其他競(jìng)賽組相比，團(tuán)隊(duì)本次的參賽方案采用了 Verilog 底層設(shè)計(jì)語(yǔ)言進(jìn)行開(kāi)發(fā)。
從原理上來(lái)講，與其他采用 HLS 工具鏈的方案相比，采用這種設(shè)計(jì)語(yǔ)言完成的 AI 加速器算力更強(qiáng)，并且支持的算子靈活度更高，這將有利于加快任務(wù)執(zhí)行速度；而從結(jié)果來(lái)看，執(zhí)行相同的網(wǎng)絡(luò)，這樣的設(shè)計(jì)方案在 FPGA 上執(zhí)行的速度確實(shí)能夠比在 TX2 上快很多。
在網(wǎng)絡(luò)參數(shù)量化過(guò)程部分，為了適應(yīng) FPGA 的定點(diǎn)運(yùn)算，待所有參數(shù)訓(xùn)練完成后，則需要對(duì)所有參數(shù)進(jìn)行量化操作。該團(tuán)隊(duì)將網(wǎng)絡(luò)參數(shù)和 feature map 均量化為 8bit 定點(diǎn)。
網(wǎng)絡(luò)參數(shù)的量化流程
經(jīng)過(guò)量化后，最終目標(biāo)檢測(cè)網(wǎng)絡(luò) ShuffleDet 的卷積層數(shù)約為 74 層，權(quán)重約為 1.94MB，Bias 約為 78KB。量化前的全精度準(zhǔn)確率為 67.1%，量化后的精度為 61.5%，量化操作帶來(lái)的精度損失為 5.6%。
Q：在這部分中提到量化后產(chǎn)生了一定的精度損失，這會(huì)對(duì)最終的結(jié)果帶來(lái)什么影響？
8bits 量化后造成了 0.056 的 IoU 損失（-8.3%），但 FPGA 上的設(shè)計(jì)實(shí)現(xiàn)帶來(lái)了 28.87 的幀率提升（+131%）和 8309J 的能量減少（-46.56%）。量化精度掉的較多將會(huì)直接影響到最終的分?jǐn)?shù)。
Q：本次比賽的主體網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2，它與和 shuffleDet 之間的差別是什么？
亞?wèn)|：「ShuffleNet V2 是 Face++提出的網(wǎng)絡(luò)，論文中這個(gè)網(wǎng)絡(luò)被應(yīng)用于分類任務(wù)，本次比賽我們主體的網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2 這個(gè)高效的網(wǎng)絡(luò)，用于檢測(cè)圖像基礎(chǔ)特征的提取。
在 ShuffleNet V2 之后，我們會(huì)增加多個(gè)模塊用于進(jìn)一步增加網(wǎng)絡(luò)深度，同時(shí)在網(wǎng)絡(luò)的最后加入一個(gè)目標(biāo)檢測(cè)的模塊用于回歸目標(biāo)的類別以及標(biāo)定框?！?/p>
Q：參加此次比賽對(duì)于你們個(gè)人、或者實(shí)驗(yàn)室來(lái)說(shuō)，有何助益？
XJTU-Tripler 團(tuán)隊(duì)表示：「這次 DAC2019 比賽涉及了算法設(shè)計(jì)、算法優(yōu)化、神經(jīng)網(wǎng)絡(luò)量化、并行程序設(shè)計(jì)、處理器設(shè)計(jì)、協(xié)處理器設(shè)計(jì)、軟硬件接口設(shè)計(jì)、系統(tǒng)速度和功耗優(yōu)化優(yōu)化等多個(gè)方面，比賽極大地增強(qiáng)了我們團(tuán)隊(duì)的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)的設(shè)計(jì)能力，同時(shí)提高了很多寶貴的設(shè)計(jì)經(jīng)驗(yàn)。
至于獲得經(jīng)驗(yàn)和收獲，第一、戰(zhàn)略上目標(biāo)決定位置——求上得中求中得下，戰(zhàn)術(shù)上設(shè)計(jì)反饋決定和設(shè)計(jì)對(duì)標(biāo)決定設(shè)計(jì)高度；第二、好的設(shè)計(jì)是面向需求的各個(gè)方面的折中，某一方面的優(yōu)勢(shì)不一定對(duì)于產(chǎn)品本身來(lái)說(shuō)是好事；第三也是最重要的：大多數(shù)艱難的問(wèn)題答案都在人，尤其在于頂尖人才，而頂尖人才的競(jìng)爭(zhēng)必將是成敗之爭(zhēng)。因此，對(duì)于每個(gè)人來(lái)講，只有盡力讓自己變得更加優(yōu)秀，才會(huì)擁有更強(qiáng)的競(jìng)爭(zhēng)力！」
Q：大賽后有什么技術(shù)方面的干貨想要分享給大家嗎？
「算法方面：推薦臺(tái)大李弘毅老師的深度學(xué)習(xí)課程，建議大家可以多抽出時(shí)間來(lái)閱讀最新的感興趣的 paper，全方面提升個(gè)人知識(shí)庫(kù)；
邏輯設(shè)計(jì)方面：推薦伯克利大學(xué)的公開(kāi)課 CS152；
代碼開(kāi)放方面：推薦 git，VScode?！?/p>
Q：后續(xù)對(duì)于此次的參賽方案有什么進(jìn)一步的優(yōu)化打算？
「未來(lái)該團(tuán)隊(duì)的設(shè)計(jì)需要在以下幾個(gè)方面繼續(xù)加強(qiáng)：首先，輕量級(jí)算法設(shè)計(jì)與訓(xùn)練。團(tuán)隊(duì)將投入更多的精力去分析各個(gè)網(wǎng)絡(luò)結(jié)構(gòu)在量化后的優(yōu)劣；其次，硬件設(shè)計(jì)需要繼續(xù)迭代，下一版設(shè)計(jì)會(huì)提高靈活性以支持更多模型，同時(shí)精簡(jiǎn)運(yùn)算邏輯以在 ZU3 上實(shí)現(xiàn)更高的峰值算力。
除了繼續(xù)提升和優(yōu)化 FPGA 的設(shè)計(jì)外，我們會(huì)進(jìn)行原型芯片設(shè)計(jì)和流片。同時(shí)，我們也會(huì)將 DAC19 競(jìng)賽相關(guān)的代碼進(jìn)行開(kāi)源。」
Q：開(kāi)源后，你們將如何維護(hù)呢？
「該方案中注釋較少，整體代碼不夠簡(jiǎn)潔和系統(tǒng)，另外還有很多臨時(shí)添加的解決方案。我們首先可以確保該工程可以完整地工作在 Ultra96 這個(gè)開(kāi)發(fā)板上，后續(xù)會(huì)根據(jù)大家的反饋，逐漸提高可讀性。
我們項(xiàng)目主分支會(huì)進(jìn)一步增加支持的網(wǎng)絡(luò)，優(yōu)化代碼邏輯，并在合適的時(shí)候移植到開(kāi)源版本當(dāng)中。該方案已經(jīng)在實(shí)際項(xiàng)目中落地實(shí)踐了，主要應(yīng)用于場(chǎng)景有端側(cè)、低功耗、目標(biāo)檢測(cè)?！?/p>
雷鋒網(wǎng) AI 科技評(píng)論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
