1
| 本文作者： 三川 | 2017-01-11 19:34 |
美國(guó)時(shí)間 1 月 10 日，Apache 軟件基金會(huì)對(duì)外宣布，萬(wàn)眾期待的 Apache Beam 在經(jīng)歷了近一年的孵化之后終于畢業(yè)。這一頂級(jí) Apache 開(kāi)源項(xiàng)目終于成熟。
這是大數(shù)據(jù)處理領(lǐng)域的又一大里程碑事件——僅僅在上個(gè)月，騰訊宣布將在 2017 年一季度開(kāi)源其大數(shù)據(jù)計(jì)算平臺(tái) Angel ?，F(xiàn)在看來(lái)，生不逢時(shí)的 Angel 可能迎來(lái)了它最大的對(duì)手。至此，谷歌終于也完成了對(duì)其云端大數(shù)據(jù)平臺(tái) Cloud Dataflow 開(kāi)源的承諾。
統(tǒng)一了數(shù)據(jù)批處理（batch）和流處理（stream）編程范式，
能在任何執(zhí)行引擎上運(yùn)行。
它不僅為模型設(shè)計(jì)、更為執(zhí)行一系列數(shù)據(jù)導(dǎo)向的工作流提供了統(tǒng)一的模型。這些工作流包括數(shù)據(jù)處理、吸收和整合。
大數(shù)據(jù)處理領(lǐng)域的一大問(wèn)題是：開(kāi)發(fā)者經(jīng)常要用到很多不同的技術(shù)、框架、API、開(kāi)發(fā)語(yǔ)言和 SDK。雷鋒網(wǎng)獲知，取決于需要完成的是什么任務(wù)，以及在什么情況下進(jìn)行，開(kāi)發(fā)者很可能會(huì)用 MapReduce 進(jìn)行批處理，用 Apache Spark SQL 進(jìn)行交互請(qǐng)求（ interactive queries），用 Apache Flink 實(shí)時(shí)流處理，還有可能用到基于云端的機(jī)器學(xué)習(xí)框架。
近兩年開(kāi)啟的開(kāi)源大潮，為大數(shù)據(jù)開(kāi)發(fā)者提供了十分富余的工具。但這同時(shí)也增加了開(kāi)發(fā)者選擇合適的工具的難度，尤其對(duì)于新入行的開(kāi)發(fā)者來(lái)說(shuō)。這很可能拖慢、甚至阻礙開(kāi)源工具的發(fā)展：把各種開(kāi)源框架、工具、庫(kù)、平臺(tái)人工整合到一起所需工作之復(fù)雜，是大數(shù)據(jù)開(kāi)發(fā)者常有的抱怨之一，也是他們支持專有大數(shù)據(jù)平臺(tái)的首要原因。
Apache Beam 的用戶基礎(chǔ)越大，就會(huì)有更多人用谷歌云平臺(tái)運(yùn)它。相應(yīng)地，他們會(huì)轉(zhuǎn)化為谷歌云服務(wù)的客戶。騰訊開(kāi)放 Angel 的動(dòng)機(jī)與之類似。
2016 年 2 月份，谷歌及其合作伙伴向 Apache 捐贈(zèng)了一大批代碼，創(chuàng)立了孵化中的 Beam 項(xiàng)目（ 最初叫 Apache Dataflow）。這些代碼中的大部分來(lái)自于谷歌 Cloud Dataflow SDK——開(kāi)發(fā)者用來(lái)寫流處理和批處理管道（pipelines）的庫(kù)，可在任何支持的執(zhí)行引擎上運(yùn)行。當(dāng)時(shí)，支持的主要引擎是谷歌 Cloud Dataflow，附帶對(duì) Apache Spark 和 開(kāi)發(fā)中的 Apache Flink 支持。如今，它正式開(kāi)放之時(shí)，已經(jīng)有五個(gè)官方支持的引擎。除去已經(jīng)提到的三個(gè)，還包括 Beam 模型和 Apache Apex。
雷鋒網(wǎng)獲知，Apache Beam 的官方解釋是：“Beam 為創(chuàng)建復(fù)雜數(shù)據(jù)平行處理管道，提供了一個(gè)可移動(dòng)（兼容性好）的 API 層。這層 API 的核心概念基于 Beam 模型（以前被稱為 Dataflow 模型），并在每個(gè) Beam 引擎上不同程度得執(zhí)行。”
谷歌工程師、Apache Beam 項(xiàng)目的核心人物 Tyler Akidau 表示：
“當(dāng)我們（谷歌和幾家公司）決定把 Cloud Dataflow SDK 和相關(guān)引擎加入 Apache Beam 孵化器項(xiàng)目時(shí)，我們腦海里有一個(gè)目標(biāo)：為世界提供一個(gè)易于使用、但是很強(qiáng)大的數(shù)據(jù)并行處理模型，支持流處理和批處理，兼容多個(gè)運(yùn)行平臺(tái)。”
對(duì)于 Apache Beam 的前景，Tyler Akidau 說(shuō)道：
“一般來(lái)講，在孵化器畢業(yè)只是一個(gè)開(kāi)源項(xiàng)目生命周期中的一個(gè)里程碑——未來(lái)還有很多在等著我們。但成為頂級(jí)項(xiàng)目是一個(gè)信號(hào)：Apache Beam 的背后已經(jīng)有為迎接它的黃金時(shí)間準(zhǔn)備就緒的開(kāi)發(fā)者社群。
這意味著，我們已經(jīng)準(zhǔn)備好向前推進(jìn)流處理和批處理的技術(shù)邊界，并把可移動(dòng)性（兼容多平臺(tái)）帶到可編程數(shù)據(jù)處理。 這很像 SQL 在陳述性數(shù)據(jù)（declarative data）分析領(lǐng)域起到的作用。相比不開(kāi)源、把相關(guān)技術(shù)禁錮在谷歌高墻之內(nèi)，我們希望借此創(chuàng)造出前者所無(wú)法實(shí)現(xiàn)的東西?！?/p>
另外，Tyler Akidau 信心十足地強(qiáng)調(diào)：“流處理和批處理的未來(lái)在于 Apache Beam，而執(zhí)行引擎的選擇權(quán)在于用戶。”
最后，我們來(lái)看看谷歌在去年早些時(shí)候發(fā)布的 “Apache Beam 技能矩陣”，用它可以看出每一個(gè)兼容引擎執(zhí)行 Beam 模型的效果。換句話說(shuō)，它展示了 Apache Beam 管道在不同平臺(tái)執(zhí)行的兼容能力。
黃色表：都有什么被計(jì)算？藍(lán)表：事件時(shí)間的那一刻？綠表：處理時(shí)間的哪一刻？紅表：各項(xiàng)改進(jìn)之間有什么關(guān)系？
via googleblog，GCP，datanami 雷鋒網(wǎng)
相關(guān)文章：
谷歌、微軟、OpenAI 等巨頭的七大機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目 看這篇就夠了
盤點(diǎn)四大民間機(jī)器學(xué)習(xí)開(kāi)源框架：Theano、Caffe、Torch 和 SciKit-learn
BAT 在下一盤大棋？深度盤點(diǎn)國(guó)內(nèi)四大機(jī)器學(xué)習(xí)開(kāi)源平臺(tái)
騰訊大數(shù)據(jù)宣布開(kāi)源第三代高性能計(jì)算平臺(tái)Angel | 重磅
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
