0
雷鋒網(wǎng) AI 科技評(píng)論按：Facebook 人工智能研究院最近推出 Pythia ——一個(gè)深度學(xué)習(xí)框架，支持視覺(jué)和語(yǔ)言領(lǐng)域的多任務(wù)處理。其模塊化的即插即用設(shè)計(jì)能夠幫助使用者快速構(gòu)建、復(fù)制和基準(zhǔn)人工智能模型。
【 圖片來(lái)源：GitHub 所有者：Facebook 】
Pythia是什么？
Pythia 是一個(gè)視覺(jué)和語(yǔ)言多模式研究的模塊化深度學(xué)習(xí)框架，它建立在PyTorch之上，具有以下特點(diǎn)：
Model Zoo：最先進(jìn)的視覺(jué)和語(yǔ)言模型的參考實(shí)現(xiàn)，這些模型包括 LoRRA（SoQ on VQA 和 TextVQA）、Pythia模型（VQA 2018 挑戰(zhàn)獲勝者）和 BAN
多任務(wù)：支持多任務(wù)，允許同時(shí)訓(xùn)練多個(gè)數(shù)據(jù)集
數(shù)據(jù)集：包括對(duì)內(nèi)置的各種數(shù)據(jù)集的支持，如 VQA、VizWiz，TextVQA 、VisualDialog 等
模塊：為視覺(jué)和語(yǔ)言領(lǐng)域中的各種常用圖層提供實(shí)現(xiàn)方式
分布式：支持基于 DataParallel 和 DistributedDataParallel 的分布式訓(xùn)練
Unopinionated：對(duì)基于它構(gòu)建的數(shù)據(jù)集和模型實(shí)現(xiàn)不受任何影響的功能
定制化：包括自定義損失、指標(biāo)、調(diào)度、優(yōu)化器、張量板等
Pythia能做什么？
即插即用的模塊化設(shè)計(jì)，能夠使研究人員快速構(gòu)建、復(fù)制并基準(zhǔn) AI 模型。你可以使用 Pythia 為您的下一個(gè)視覺(jué)和語(yǔ)言多模式研究項(xiàng)目提供引導(dǎo)程序，也可以用作視覺(jué)和語(yǔ)言數(shù)據(jù)集挑戰(zhàn)賽的入門(mén)代碼庫(kù)（TextVQA 挑戰(zhàn)，VQA 挑戰(zhàn)）；還可以用它來(lái)回答與視覺(jué)數(shù)據(jù)相關(guān)的問(wèn)題和自動(dòng)生成圖像注釋。
Pythia加入了近期的AI比賽（VQA Challenge 2018和Vizwiz Challenge 2018）中獲獎(jiǎng)作品的元素。功能包括通過(guò)參考實(shí)現(xiàn)來(lái)展示之前的模型如何完成相關(guān)基準(zhǔn)測(cè)試結(jié)果，以及迅速評(píng)估新模型性能。 除了多任務(wù)處理，Pythia還支持分布式訓(xùn)練和各種數(shù)據(jù)集，以及自定義損失、指標(biāo)、調(diào)度和優(yōu)化器。
Pythia的意義？
Pythia使得進(jìn)入視覺(jué)和語(yǔ)言子領(lǐng)域的過(guò)程變得更簡(jiǎn)單，也使研究人員能夠?qū)Ｗ⒂诟斓脑驮O(shè)計(jì)和實(shí)驗(yàn)。通過(guò)提高這些模型和結(jié)果的可重復(fù)性來(lái)加速研究進(jìn)程，將使得社區(qū)更容易成功構(gòu)建系統(tǒng)并進(jìn)行基準(zhǔn)測(cè)試。
通過(guò)消除這些障礙，研究人員能更快地為人們和智能機(jī)器開(kāi)發(fā)新的交流方式。 同時(shí)，這項(xiàng)工作還將幫助研究人員開(kāi)發(fā)自適應(yīng)人工智能，使得多種理解更好融合到多情境的多模理解中。除了這個(gè)開(kāi)源版本，F(xiàn)acebook還計(jì)劃繼續(xù)添加工具、任務(wù)、數(shù)據(jù)集和參考模型。
具體開(kāi)源鏈接：
GitHub 地址
https://github.com/facebookresearch/pythia
Pythia 官方文檔
https://learnpythia.readthedocs.io/en/latest/
安裝教程
https://colab.research.google.com/drive/1Z9fsh10rFtgWe4uy8nvU4mQmqdokdIRR
雷鋒網(wǎng)AI 科技評(píng)論 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
