雅虎昨日宣布開源 TensorFlowOnSpark。

它使得深度學習框架 TensorFlow 能與 Apache Spark 中的數(shù)據(jù)集兼容。對于使用 Spark 來處理不同類型數(shù)據(jù)的機構和開發(fā)者來說，這無疑是一個好消息。TensorFlowOnSpark 的開源代碼，已基于 Apache 2.0 協(xié)議在 GitHub 上發(fā)布。

眾所周知，深度學習有海量數(shù)據(jù)需求。雷鋒網了解到，許多業(yè)內公司利用 Spark 對超大規(guī)模的數(shù)據(jù)集進行管理。讓深度學習框架直接、方便地獲取這部分數(shù)據(jù)，將為 ML 開發(fā)提供極大助力。

雅虎在官方博客中宣布了這一消息，并解釋了此前雅虎 Big ML 開發(fā)團隊遇到的問題：

“現(xiàn)有的深度學習框架，往往需要設立單獨的深度學習數(shù)據(jù)組。這強迫我們?yōu)橥粋€機器學習流水線創(chuàng)建多個程序。維護多個獨立的數(shù)據(jù)組，要求我們在它們之間傳輸海量數(shù)據(jù)集——這導致不必要的系統(tǒng)復雜性和端到端的學習延遲。”

為解決這一問題，雅虎此前開發(fā)了 CaffeOnSpark。它使得基于 Caffe 機器學習框架開發(fā)的程序，能與 Apache Spark 兼容。雷鋒網了解到，雅虎已將基于 CaffeOnSpark 的程序，用于鑒別搜索中的不恰當搜索結果，以及自動探測電子競技游戲直播視頻中的關鍵看點。

雅虎去年開源了 CaffeOnSpark。如今它對 TensorFlow 做了同樣的工作。兩者的原理幾乎相同，只是把機器學習框架換成了 TensorFlow。

雅虎表示，把 TensorFlow 程序移植到 TensorFlowOnSpark 相對方便，并經過反公司內部的反復驗證。

“這通常只需要修改十行以內的 Python 代碼。許多使用 TensorFlow 的雅虎開發(fā)者已輕松地把 TensorFlow 程序，移植到 TensorFlowOnSpark 執(zhí)行?！?/p>

雷鋒網獲知，雅虎會持續(xù)為 TensorFlowOnSpark 和 CaffeOnSpark 提供支持，并歡迎開源社區(qū)對兩者進行改進。對于 TensorFlowOnSpark 工作原理的詳細解釋，請參考雅虎博客。

via yahoo，siliconangle，venturebeat

相關文章：

谷歌剛發(fā)布的深度學習動態(tài)計算圖工具TensorFlow Fold是什么？

TensorFlow 1.0 要來了！它將帶來哪些革命性變化？

英特爾開源BigDL，可直接在Spark框架下運行深度學習

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。