0
5月20日，在這個空氣中彌漫中濃濃愛意的日子，又迎來了百度一年一度的“Wave Summit 2020”深度學習開發(fā)者峰會。本次大會由深度學習技術及應用國家工程實驗室與百度聯(lián)合主辦，線上召開。
上午十點整，百度CTO王海峰首先登臺致辭。
他的“重頭戲”，便是與大家分享了飛槳在新的一年所取得的佳績：累計開發(fā)者數(shù)量194萬，服務企業(yè)數(shù)量8.4萬家，基于飛槳平臺產(chǎn)生了23.3萬模型。
而這一佳績的背后，一方面得益于算法、算力及數(shù)據(jù)的持續(xù)共同進步，使得技術的邊界不斷被拓展；另一方面，疫情帶動了線上經(jīng)濟增長，在國家提出“新基建”等大背景下，以飛槳為代表的深度學習平臺作為智能時代的操作系統(tǒng)，也迎來了非常可貴的發(fā)展機遇。
接下來，由百度集團副總裁、深度學習技術及應用國家工程實驗室副主任吳甜帶來“蕩起飛槳 AI生產(chǎn)正當時”的主題演講。
她以“口罩人臉系列應用方案”為例，深入講解了飛槳在大規(guī)模分布式訓練、全硬件平臺支持、端到端全流程工具以及飛槳Master模式等方面實現(xiàn)的最新技術進展。
演講中，她也帶來了飛槳全景圖的發(fā)布，并表示，在全新產(chǎn)品架構里，開源深度學習平臺依然是最重要的一部分，他們依舊會持續(xù)通過開源的方式，圍繞飛槳的核心框架、基礎模型庫、端到端的開發(fā)套件和工具組件打造飛槳最核心的能力，永久開源，為開發(fā)者提供最強有力的開發(fā)基礎。
不僅如此，百度還推出了量子機器學習，期望飛槳能夠為未來的前沿發(fā)展做出貢獻（詳細請閱讀本文第3部分）。
峰會繼續(xù)，百度飛槳總架構師于佃海上臺分享了飛槳核心框架的設計理念和技術特色。
作為源于百度內(nèi)部實踐的一個深度學習框架，飛槳的迭代發(fā)展有兩個驅(qū)動輪：產(chǎn)業(yè)實踐的需求和打磨（性能、大規(guī)模訓練和部署能力）；用戶體驗提升（用戶編程界面的優(yōu)化和基礎功能建設的完善）。
兩個驅(qū)動輪對應到框架的設計，簡單來講，就是高效且易用。其設計的基本理念是，深度學習的編程開發(fā)應該更加符合用戶一般的編程習慣，而不需要引入太多額外的概念。
這一設計理念以及雙輪驅(qū)動下，飛槳框架目前已經(jīng)具備以下四個技術特點：
第一，易學易用的前端編程界面。飛槳通過編程一致的計算描述，直接以程序化的program形式描述神經(jīng)網(wǎng)絡執(zhí)行的計算過程，同時提供了一種完備的內(nèi)在描述ProgramDesc 來表達任意復雜的模型，實現(xiàn)了自然完備的動靜統(tǒng)一。
進一步，飛槳自2018年底擴展支持的動態(tài)圖目前也已得到深度優(yōu)化，全新的開發(fā)體驗，編程交互更加自然靈活，更容易寫出優(yōu)雅的代碼。與此同時，飛槳近期新增的高層API同時屏蔽了動靜的差異，可以使用一行命令方便地切換執(zhí)行模式，可極大降低編程復雜度。
第二，統(tǒng)一高效的內(nèi)部核心架構。 飛槳目前有兩層 IR：program 對接用戶編程界面，簡潔完備地表達深度學習計算，還可以便捷地遷移變換，無縫對接分布式訓練和推理部署，保證了整體架構的一致性，而又不顯著增加復雜度；SSA Graph 則主要對接更底層的優(yōu)化策略，比如算子自動融合，并發(fā)調(diào)度，易構硬件執(zhí)行調(diào)度等等。兩層IR更好地銜接了前端和后端，兼顧和簡潔、高效和整體統(tǒng)一性。
近期進一步的優(yōu)化升級包括：將飛槳的默認顯存分配策略，升級為自動按需分配，更加節(jié)省資源；完善通用算子自動融合策略，進一步提升了訓練性能；建立了非常完備易用的自動混合訓練功能，充分發(fā)揮硬件優(yōu)勢，提升訓練速度，同時配合前項中間層重計算策略，可以支持更大batch的訓練。
第三，原生完備的分布式訓練支持。眾所周知，飛槳的英文名Paddle便是并行分布式訓練學習的縮寫，因而分布式作為飛槳與生俱來的特性，是其核心框架設計中非常重要的部分，完全不需要依賴其他外掛。從飛槳的單機程序，到多設備訓練的擴展，都只需要通過統(tǒng)一極簡的API和配置，剩下都是由框架自動完成。
進一步，百度對飛槳在分布式訓練方面的優(yōu)化包括：新增了超大規(guī)模分類功能，通過模型并行實現(xiàn)對千萬類別分類任務的支持；完善了流水線并行，更好地發(fā)揮異構設備的協(xié)同優(yōu)勢；同時對參數(shù)服務器功能進行了整合優(yōu)化，使得功能更完善，使用更簡單。
第四，高性能可擴展的推理引擎。飛槳的訓練框架一體的原生推理系統(tǒng) Paddle Inference，原本便可與訓練復用部分優(yōu)化策略，并在底層算子實現(xiàn)上完全一致，做到了百分百兼容，即訓即用。
與此同時，飛槳也針對推理場景做了深度優(yōu)化，實現(xiàn)了對外部推理加速庫的可插拔加載，從而讓實現(xiàn)對部分計算的更靈活加速選擇。此外，在自有多硬件加速庫的基礎上，提供了獨立的輕量化推理引擎Paddle Lite，對端側任務提供高性能支持，并且在算子定義和模型表達層面，和核心框架保持一致。
于佃?？偨Y道，目前為止飛槳核心框架整體上已經(jīng)形成了界面清晰、功能完備、成熟穩(wěn)定的架構體系?；陲w槳框架已建成對深度學習核心任務全覆蓋的模型庫，并延展出圖學習PGL、深度強化學習PARL等非常多的衍生開發(fā)框架。
百度深度學習技術平臺部高級總監(jiān)馬艷軍進一步發(fā)布了側重于工業(yè)級應用極致體驗以及布局深度學習前沿技術兩個方向的7項開源產(chǎn)品，23項重要升級。
開發(fā)方面，除了動態(tài)圖和API 的升級，飛槳還將提供更多的官方模型庫和開發(fā)套件，方便開發(fā)者進行低代碼的二次開發(fā)：官方模型庫新增了39個算法，總算法數(shù)量達到146個，預訓練模型已有200多個；而在開發(fā)套件上，本次不僅升級和發(fā)布了視覺開發(fā)套件——端到端的圖像分類開發(fā)套件PaddleClas、目標檢測開發(fā)套件PaddleDetection 的發(fā)布和升級，還發(fā)布了語音開發(fā)套件——端到端的語音合成開發(fā)套件Parakeet 。
訓練升級上，主要包括三個方面，訓練速度，顯存，和大規(guī)模分布式的擴展能力。在訓練速度上，升級了自動混合精度訓練，用一行代碼就可以實現(xiàn)訓練速度提升兩倍；顯存策略方面，實現(xiàn)了重計算機制可用于訓練極深網(wǎng)絡模型；分布式擴展能力方面，提供非常易用的API，并新發(fā)布一個云端的任務提交工具PaddleCloud，進一步在分布式訓練技術方面，研發(fā)了數(shù)據(jù)并行、模型并行、流水線并行等完整的技術體系，并結合云端研發(fā)了彈性訓練技術，其中模型并行和彈性訓練是本次新增發(fā)布的能力。
推理部署上，不僅升級了模型優(yōu)化工具PaddleSlim，還升級了服務器端的推理引擎Paddle Inference，開發(fā)者可以通過PaddleServing來實現(xiàn)模型的服務化部署，與此同時還在移動端和邊緣端的推理部署上進行了升級，其中包括可在網(wǎng)頁端或者小程序上使用的預測推理引擎Paddle.js，面向移動端和IOT場景提供的輕量化推理引擎Paddle Lite。
開源工具上，本次新發(fā)布的開源產(chǎn)品 PaddleX，可實現(xiàn)開發(fā)、訓練和部署全流程的打通，并且能夠非常方便地實現(xiàn)快速集成。目前它已經(jīng)集成了很多款飛槳已經(jīng)開放出來的能力，把這些能力進行流程上的打通之后，整個的使用體驗和門檻都可以得到大幅的降低。
針對早在去年 WAVE SUMMIT峰會上發(fā)布的飛槳 Master模式，今年則實現(xiàn)了預訓練模型和遷移學習工具兩項核心技術上的升級：預訓練模型方面，重點聚焦超大規(guī)模視覺模型和NLP的語義理解模型ERNIE；遷移學習工具方面，則新增了多個遷移學習的算法，包括DELTA技術、deep transfer never hurt 算法，來提升應用效果。
前沿技術方面，第一個是曾連續(xù)兩年獲得了NeurIPS強化學習賽事冠軍的飛槳強化學習工具——RARL，本次新增了多智能體算法的支持以及連續(xù)控制領域的SOTA算法，更好地支持強化學習前沿技術的研究；第二個是聯(lián)邦學習工具PaddleFL，本次也進一步完善了端云協(xié)同訓練，并開源了百萬級用戶設備的模擬器，方便快速迭代，另外在企業(yè)間聯(lián)邦學習方面新增了縱向聯(lián)邦學習的能力，方便開發(fā)者或者研究者基于這些工具去做自己的聯(lián)邦學習相關研究。
除此之外，飛槳也在圖神經(jīng)網(wǎng)絡、復數(shù)神經(jīng)網(wǎng)絡等方面實現(xiàn)了升級，以更好地支持前沿技術和跨學科的機器學習研究。
百度研究院量子計算研究所所長段潤堯發(fā)布了國內(nèi)首個（也是唯一一個，同時也是全球第二個）量子機器學習開發(fā)工具——量槳（Paddle Quantum），將峰會拉入高潮。
簡單來說，Paddle Quantum 是一個基于百度開源框架PaddlePaddle的機器學習開發(fā)工具，支持量子神經(jīng)網(wǎng)絡的搭建與訓練，提供易用的量子機器學習開發(fā)者套件與量子優(yōu)化、量子化學等前沿量子應用工具集，相關量子算法的研究可以調(diào)用量槳內(nèi)部的計算框架，然后用 Python 編程完成運算。
據(jù)段潤堯博士介紹，「量槳」特性有三，分別為：
易用性：提供簡潔的神經(jīng)網(wǎng)絡搭建與豐富的量子機器學習案例。
通用性與拓展性：支持常用量子電路模型，提供多項優(yōu)化工具。
特色工具集：提供量子優(yōu)化、量子化學等前沿量子應用工具集，自研多項量子機器學習應用。
量槳的量子機器學習開發(fā)套件包括：量子開發(fā)工具集，量子化學庫，以及一系列優(yōu)化工具。與此同時，在量槳的Github開源中，我們還可以看到一系列入門教程，涵蓋量子優(yōu)化、量子化學、量子機器學習等多個領域的經(jīng)典量子應用。
過去幾年，盡管以深度學習為代表的機器學習方法在許多問題上產(chǎn)生了深遠的影響。然而從長遠來看，正如牛頓經(jīng)典力學并不能精確描述自然世界一樣，我們?nèi)粝肽M自然世界，經(jīng)典機器學習方法會顯得力有未逮，而量子機器學習方法則將成為必然。 如今，諸多科技巨頭相繼布局量子計算，由此也可見，在未來的10~20年內(nèi)，量子計算以及量子機器學習必將成為社會發(fā)展的重要推動力。
百度現(xiàn)在入手量子計算，或恰逢其時。 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
