雷鋒網(wǎng) 9 月 4 日消息，企業(yè)級云服務商青云 QingCloud 近日宣布 SparkMR on QingCloud 服務正式登陸 AppCenter。SparkMR on QingCloud 集成了 Spark 與 Hadoop MapReduce 雙計算引擎，提供統(tǒng)一的 HDFS 數(shù)據(jù)存儲引擎及 YARN 調(diào)度系統(tǒng)，為用戶提供靈活、高效、可多模式切換的全新云端大數(shù)據(jù)處理平臺。

大數(shù)據(jù)時代，數(shù)據(jù)資源是企業(yè)的無形資產(chǎn)，也是核心競爭力之一。如何低成本、高效率地進行數(shù)據(jù)統(tǒng)一管理和分析，獲得商業(yè)決策支持成為擺在企業(yè)面前的一道難題。大數(shù)據(jù)平臺正是為了企業(yè)的這種需求應運而生并持續(xù)發(fā)展創(chuàng)新。青云 QingCloud 于 2015 年 8 月推出了基于 Spark 的大數(shù)據(jù)集群服務，同年 12 月，推出 Hadoop 集群服務作為大數(shù)據(jù)基礎平臺的有力補充，以此來滿足企業(yè)在大數(shù)據(jù)領域的不同需求。

但由于 Spark 與 Hadoop 作為兩個獨立的服務，用戶同時使用這兩種處理引擎時，需要部署兩套 HDFS，相同的數(shù)據(jù)需要加載并存放兩份，無論是成本還是效率都不是最好的選擇。從數(shù)據(jù)統(tǒng)一管理角度出發(fā)，青云 QingCloud 推出 SparkMR on QingCloud，通過 QingCloud AppCenter 以云應用的方式交付用戶使用，對原有大數(shù)據(jù)平臺的 Spark 與 Hadoop 服務進行了全方位的整合與升級。

目前，SparkMR 支持 Apache Hadoop 2.7.3 與Apache Spark 2.2.0。Spark 和 Hadoop 兩者結合后，成本會顯著降低。同時，相對原大數(shù)據(jù)平臺提供更豐富、更靈活的可選配置，用戶可以分角色定制節(jié)點配置（CPU 2~16 核可選，內(nèi)存 2~64GB 可選）。SparkMR on QingCloud 作為支撐全新雙引擎大數(shù)據(jù)平臺的重要組件，具有以下多重亮點：

計算模式：SparkMR 在底層提供統(tǒng)一的 HDFS 作為數(shù)據(jù)存儲引擎，在上層提供 Spark 與 MapReduce 兩種計算引擎，并提供 YARN 作為調(diào)度系統(tǒng)。用戶可以實現(xiàn)三種不同的計算模式，即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之間的切換。

計算能力： SparkMR 為了方便用戶開發(fā) Spark 應用，除了支持 Java 和 Scala 開發(fā)之外，還提供了 Python 與 R 兩種語言的運行環(huán)境。其中為 Python 用戶提供了 Anaconda 發(fā)行版的 Python 2 和 Python 3，并支持在這兩種 Python 版本間進行切換。同時，分別為這兩個 Python 版本預置了多個 Anaconda 發(fā)行版的數(shù)據(jù)科學包，為數(shù)據(jù)科學和機器學習/深度學習等 AI 開發(fā)場景提供了強大的計算能力支撐。

集成能力：SparkMR 支持指定依賴服務的功能，即通過 AppCenter 2.0 框架內(nèi)原生的應用感知機制，實現(xiàn)與其他大數(shù)據(jù)分析組件之間自動化的無縫集成。SparkMR 與 QingStor 對象存儲平臺也進行了預置集成，用戶可以通過簡單的配置即可開啟對 QingStor 對象存儲的支持，以應對海量大規(guī)模數(shù)據(jù)的存儲問題。

調(diào)度策略： SparkMR 提供 Spark 與 YARN 的自定義調(diào)度器的功能，用戶可以根據(jù)自己實際的需求，自定義集群內(nèi)資源調(diào)度策略，賦予用戶在多租戶使用場景下更為精細化的管理能力。

服務定制：SparkMR 通過控制臺提供近 60 個配置參數(shù)，用戶通過控制臺的 UI 操作即可完成集群部署及服務的個性化定制。比如用戶可以通過 UI 即可完成設置 Hadoop 代理用戶的功能。SparkMR 的 Client（客戶端）節(jié)點也實現(xiàn)了完全的自動化配置，用戶無需再單獨創(chuàng)建并手動配置 BigData Client 或者Spark Client。這意味著用戶在控制臺完成配置及服務定制后，在部署完成時，已經(jīng)可以開始執(zhí)行計算任務，真正實現(xiàn)了一鍵部署、即刻使用。

服務監(jiān)控：SparkMR 提供了完善的服務級別分角色的監(jiān)控能力，用戶不僅可以看到常規(guī)資源層監(jiān)控，還可以通過可視化的方式清晰了解整體服務的運行情況。同時基于服務監(jiān)控，還提供了監(jiān)控告警、健康檢查和服務自動恢復等功能。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。