AI模型落地難？試試這個(gè)15分鐘搞定的開(kāi)源工具！

本文作者：木子

2021-09-28 11:37

導(dǎo)語(yǔ)：自古兵家作戰(zhàn)就講究一個(gè)「度」。

自古兵家作戰(zhàn)就講究一個(gè)「度」。

公元 200年，官渡之戰(zhàn)后。死敵袁紹的殘兵敗卒遠(yuǎn)逃塞北，勞師遠(yuǎn)征還是窮寇莫追，曹操陷入糾結(jié)。鬼才謀士郭嘉建言道：“用兵貴在神速！遠(yuǎn)征千里之外，輜重多、行軍慢，敵人定會(huì)有所察覺(jué)。不如留下笨重的物資，輕車簡(jiǎn)從晝夜兼程，攻敵不備定可一戰(zhàn)功成?！?nbsp;

曹操采納了建議，親率數(shù)千精兵突襲，旋即取得了勝利。

兵貴神速，絕非妄言。

曹操輕車簡(jiǎn)從晝夜兼程是極致效率的體現(xiàn)，同樣的，在現(xiàn)代的科技領(lǐng)域，需要緊急交付應(yīng)用的時(shí)刻，將開(kāi)發(fā)完成的模型快速部署、快速應(yīng)用，其背后體現(xiàn)的工程效率有時(shí)也事關(guān)成敗。

近日，曠視天元 MegEngine 將面向計(jì)算機(jī)視覺(jué)應(yīng)用的 MegFlow 流式計(jì)算框架開(kāi)源，奉上一套可快速完成 AI 應(yīng)用部署的視覺(jué)解析服務(wù)方案。

AI模型落地難？試試這個(gè)15分鐘搞定的開(kāi)源工具！

通過(guò)使用 MegFlow，AI 算法開(kāi)發(fā)者可以快速完成 AI 模型的落地應(yīng)用。

我們就拿一個(gè)電瓶車檢測(cè)的例子，小中見(jiàn)大吧。

今年 5月10日，成都成華區(qū)一小區(qū)電梯內(nèi)電瓶車起火，導(dǎo)致包括一名女?huà)朐趦?nèi)的多人燒傷。這樣的悲劇事件絕不是孤例，管理人員本可以及時(shí)察覺(jué)并制止電動(dòng)車進(jìn)入樓梯間等樓內(nèi)公共區(qū)域停放或充電。

MegFlow提供的“開(kāi)箱即用”應(yīng)用就包括電瓶車檢測(cè)：基于 MegFlow 提供的圖像和視頻解析服務(wù)，最快 15 分鐘即可完成客制化電瓶車檢測(cè)功能，并完成快速部署。這是一種為物業(yè)管理者提供的智能化管理工具。當(dāng)攝像頭檢測(cè)到電瓶車進(jìn)入樓內(nèi)公共區(qū)域，系統(tǒng)會(huì)第一時(shí)間發(fā)出警告，提醒管理人員快速制止，有效排除起火安全隱患。所謂“生命安全大于天，能快一點(diǎn)是一點(diǎn)”。

AI模型落地難？試試這個(gè)15分鐘搞定的開(kāi)源工具！

MegFlow ——三步部署神器

“煉丹本是枯燥事，奈何部署再難人?！?經(jīng)歷過(guò)AI應(yīng)用上線的開(kāi)發(fā)者肯定深有體會(huì)，要讓一個(gè)模型從丹爐走出來(lái)到落地應(yīng)用所涉及的東西又多又雜，技術(shù)儲(chǔ)備不足或人手不夠的團(tuán)隊(duì)很難在短時(shí)間內(nèi)搞定所有事情。曠視最近開(kāi)源的 MegFlow是針對(duì)這一痛點(diǎn)開(kāi)出的一劑良藥。

曠視的工程師在總結(jié)了內(nèi)部多年的 AI 應(yīng)用工程落地經(jīng)驗(yàn)之后，搭建了一條從“煉丹”到落地的高速公路，這就是 MegFlow 流式計(jì)算框架。

MegFlow 將資源、消息、任務(wù)等概念進(jìn)行清晰一致的抽象化，做到將冗長(zhǎng)的算法交付流程簡(jiǎn)化為模型訓(xùn)練、業(yè)務(wù)集成、交付驗(yàn)收三步完成。

AI模型落地難？試試這個(gè)15分鐘搞定的開(kāi)源工具！

MegFlow三大特點(diǎn)助力提升工程效率

MegFlow 針對(duì) AI 算法工程落地中的頻發(fā)問(wèn)題，諸如性能調(diào)優(yōu)、安全性、模型加密等，都能提供行之有效的解決方案，并有效提升了工程效率。

MegFlow 擁有安全可靠、簡(jiǎn)單易用、語(yǔ)義支持豐富等特性。在這三大特性的保證之下，MegFlow 可以輕松助力 AI 應(yīng)用快速落地。

簡(jiǎn)單易用

MegFlow 支持 Python 插件，且僅需要開(kāi)發(fā)者編寫(xiě)同步的 Python 程序，即可實(shí)現(xiàn)可以被 MegFlow 異步調(diào)度的 Python 插件。同時(shí) MegFlow 提供了一套基于 Web UI 的可視化調(diào)試工具，可有效提升模型部署的工作效率。

語(yǔ)義支持豐富

在表達(dá)能力上，MegFlow 支持靜態(tài)圖、動(dòng)態(tài)圖和共享圖，輔以 demux、reorder、transform 等函數(shù)式語(yǔ)義的通用插件，為搭建多樣化的 AI 服務(wù)提供了豐富的語(yǔ)義支持。

安全可靠

一般而言，工程效率的提高往往意味著安全性能可能會(huì)隨之相應(yīng)下降，但是MegFlow對(duì)于安全性的把控做得非常好，完全安全可靠。在技術(shù)選型上， MegFlow 的研發(fā)團(tuán)隊(duì)認(rèn)真負(fù)責(zé)地調(diào)研了多種技術(shù)方案，最終選擇了安全且零額外開(kāi)銷的 Rust 異步生態(tài)，從基礎(chǔ)上保證了 MegFlow 的安全性與性能。

曠視開(kāi)源進(jìn)行時(shí)

2020年3月，曠視開(kāi)源了內(nèi)部使用多年的深度學(xué)習(xí)框架曠視天元，并以天元為核心，逐步豐富完善其開(kāi)源生態(tài)，覆蓋圖像分類、圖像檢測(cè)、圖像分割、關(guān)鍵點(diǎn)、自然語(yǔ)言處理、生成對(duì)抗網(wǎng)絡(luò)等各類模型和工程項(xiàng)目。不久前，曠視開(kāi)源了YOLOX 系列高性能目標(biāo)檢測(cè)算法，一度登上GitHub trending榜。

除了工作效率之外，曠視在解決成本效率上也很給力。今年4月，開(kāi)源深度學(xué)習(xí)框架 MegEngine引入動(dòng)態(tài)圖顯存優(yōu)化（DTR）技術(shù)并進(jìn)行進(jìn)一步的工程優(yōu)化，提供了一種通過(guò)額外計(jì)算減少顯存占用的途徑，只需兩行代碼，可以在相同顯存情況下，讓用戶訓(xùn)練 3 倍大的模型。在使用 DTR 功能后，11G顯存的2080Ti 可以訓(xùn)練出原本32G顯存的V100才能訓(xùn)練的模型，可以節(jié)省很多 Money！