0
恩格斯說:“社會的需求對科技進步的作用要超過10所大學?!?/p>
奮戰(zhàn)在“雙11大促”背后的螞蟻金服OceanBase團隊或許對這句話頗有感觸。
與十一年前相比,雙11的許多東西都變了,比如金額---2684億,差不多是十一年前0.5億的5000倍;比如流量---當晚的交易峰值達到54.4 萬筆/秒,是2009年第一次雙十一的1360倍。
而在這個成績的背后,不得不提到螞蟻金服技術團隊OceanBase。作為中國數(shù)據(jù)庫中的佼佼者,OceanBase不僅在雙十一大放異彩,還于今年十月份打破了美國甲骨文公司保持了9年的世界紀錄,登頂TPC-C榜單,成為首個登上該榜單的中國數(shù)據(jù)庫系統(tǒng)。TPC-C是專門針對聯(lián)機交易處理系統(tǒng)(OLTP系統(tǒng))的測試基準,幾乎所有在OLTP市場提供軟硬平臺的國外主流廠商都發(fā)布過相應的TPC-C測試結果。
今年的雙11金融新技術發(fā)布會上,螞蟻金服技術團隊展示了他們在數(shù)據(jù)庫領域獲得的一些成果。
解決痛點,挑戰(zhàn)巨頭
一直以來Oracle等老牌數(shù)據(jù)庫占據(jù)著金融等各個行業(yè)的的數(shù)據(jù)庫市場。一步先,步步先。怎樣“虎口拔牙”,從傳統(tǒng)的數(shù)據(jù)庫廠商手中搶奪市場,這是新興的數(shù)據(jù)庫團隊要考慮的內容。
螞蟻金服研究員、OceanBase團隊核心成員韓鴻源說道:“讓銀行等金融行業(yè)使用新的數(shù)據(jù)庫,面臨的最大的挑戰(zhàn)是所有業(yè)務系統(tǒng)在過去20年里已經(jīng)構建好,如果既有系統(tǒng)平滑遷移,用戶會有特別大的開發(fā)和改造投入?!?/p>
“OceanBase挑戰(zhàn)TPC-C就是要證明我們可以把分布式架構和數(shù)據(jù)庫表現(xiàn)的和一個數(shù)據(jù)庫的效果一樣,這樣可以最大程度的降低遷移復雜度?!?br/>
“OceanBase于今年的十月份打破了Oracle公司保持了9年的世界紀錄,登頂TPC-C榜單。而在這件事的背后,其實在于OceanBase團隊做的一件有意義的事情:即改變了關系數(shù)據(jù)庫做交易的處理方法,把交易處理從傳統(tǒng)的集中式系統(tǒng)變成了分布式系統(tǒng)。螞蟻金服高級研究員、OceanBase創(chuàng)始人陽振坤補充道。
20世界80年代后,數(shù)據(jù)庫的一個重要的應用場景開始得到普遍應用,即在線交易處理On-Line Transaction Processing(OLTP),之后企業(yè)應用環(huán)境基于數(shù)據(jù)庫中的數(shù)據(jù)又增強了商業(yè)智能分析的需求,即對銷售結果進行預測、對比、分析等各種需求,所以在在線交易處理(OLTP)之外,還需要數(shù)據(jù)庫承擔聯(lián)機分析處理(OLAP)的負載。
但近些年來,因為數(shù)據(jù)量不斷高速增長,硬件發(fā)展速度趕不上數(shù)據(jù)的增長速度,原本可以由一個關系數(shù)據(jù)庫處理的OLTP和OLAP變成了由關系數(shù)據(jù)庫和數(shù)據(jù)倉庫兩個分離的系統(tǒng)來承擔。這帶來很大的不便。一來,需要另外架一個橋梁,把數(shù)據(jù)從交易數(shù)據(jù)庫抽取和轉載后加載到數(shù)據(jù)倉庫系統(tǒng),而且這個過程是非實時的,效率低下。二來,數(shù)據(jù)倉庫本身是面向某個主題的,如果有多個不同的主題,就要建多個數(shù)據(jù)倉庫,造成大量數(shù)據(jù)冗余。而對交易數(shù)據(jù)庫進行分庫分表后,當分庫數(shù)量變成兩位數(shù)或者三位數(shù),不管是業(yè)務擴容了,還是業(yè)務縮容,都需要應用進行很多的調試。
“能夠做到隨時擴展和收縮,正是2010年公司立項做OceanBase的目標之一?!标栒窭ふf道。
對標國際,市場先行
“商業(yè)成就科技,技術成就商業(yè)?!卑⒗锇桶秃匣锶恕⑽浵伣鸱﨏TO胡喜告訴記者,“天貓雙十一就是金融新技術的最佳演練場?!倍鴱姶蟮氖袌鲂枨蟛粩嗤苿蛹夹g前行將成為阿里的一個標志。
早在2008年,阿里巴巴提出了“去IOE“的概念。即在阿里巴巴的IT架構中,去掉IBM的小型機、Oracle數(shù)據(jù)庫、EMC存儲設備,代之以自己在開源軟件基礎上開發(fā)的系統(tǒng)。今年阿里已完成全部去Oracle,部分使用MySQL的目標。
相比于在業(yè)界應用廣泛的Oracle和MySQL,金融IT專家、贊奇科技CTO謝軍博士向雷鋒網(wǎng)表示,“如果操刀大型系統(tǒng),他會與阿里的OceanBase合作。如果是一般系統(tǒng),則更傾向于使用MySQL?!?/p>
Oracle是一款誕生早、結構嚴謹、功能多的數(shù)據(jù)庫產(chǎn)品,但同時存在價格高、安裝較為復雜等問題。使用Oracle的客戶十分廣泛,涉及金融、能源等各個行業(yè)。早些時候,世界前100強的公司幾乎100%都使用的是Oracle數(shù)據(jù)庫。MySQL最大的特點在于開源、便宜、安裝方便、支持平臺多,但比較而言安全系數(shù)較低。生于互聯(lián)網(wǎng),興于互聯(lián)網(wǎng)的MySQL在高并發(fā)等存取能力并不比大型數(shù)據(jù)差,同時價格便宜,安裝使用簡單便捷,能夠自主選擇存儲引擎,深受互聯(lián)網(wǎng)公司的喜愛。
而OceanBase誕生于阿里,應對像雙11這種大流量訪問、高并發(fā)的實戰(zhàn),經(jīng)驗更充足。相對于傳統(tǒng)數(shù)據(jù)庫而言,OceanBase有更好的擴展性且效率較高,更適合如聚劃算、秒殺以及短時間突發(fā)大流量的場景應用。但同時也有一定的缺點:分布式事物的代價較為高昂、管理復雜,如果數(shù)據(jù)量沒達到一定規(guī)模,則使用OceanBase可能沒有明顯的優(yōu)勢。
此外,謝軍博士對雷鋒網(wǎng)說道:“OceanBase的優(yōu)勢在于能大規(guī)模支持極高并發(fā)業(yè)務集群;另外,由于是國產(chǎn)數(shù)據(jù)庫產(chǎn)品,安全可靠?!?/p>
近兩年,OceanBase團隊重點在做兼容Oracle的工作,目標可以達到不用改代碼,就能實現(xiàn)業(yè)務的平滑遷移,尤其是在金融領域,成就頗豐。目前國內如西安銀行已把Oracle業(yè)務遷到了OceanBase。
謝軍表示,OceanBase兼容Oracle對基金、保險行業(yè)的意義重大,但如果要大規(guī)模賦能銀行,則需進一步兼容DB2。
生命易逝,基因長存
阿里并不是國內第一家研發(fā)數(shù)據(jù)庫的公司。
21世紀初,我國開始了自主研發(fā)數(shù)據(jù)庫的歷程。除了南大通用、人大金倉等傳統(tǒng)國產(chǎn)數(shù)據(jù)庫廠商;騰訊TDSQL、華為GaussDB等互聯(lián)網(wǎng)開源產(chǎn)品廠商也相繼進軍市場。而更早些時候,Oracle等國際巨頭早已搶占了大部分市場。
雖然阿里巴巴并不是最早開始研發(fā)數(shù)據(jù)庫的公司,但毋庸置疑的是,在數(shù)據(jù)庫領域,尤其是工業(yè)數(shù)據(jù)庫產(chǎn)品中,處于較為領先的地位。
“今天市場上即便是大廠,也不一定能做到使自己的業(yè)務全部運行到自己的數(shù)據(jù)庫上,而OceanBase這個產(chǎn)品是經(jīng)過長期的檢驗之后才拿出來的,螞蟻金服的業(yè)務量對OceanBase有非常好的支持作用?!蔽浵伣鸱芯繂T、OceanBase團隊核心成員韓鴻源說道。
支付寶參戰(zhàn)雙11的第十一年,OceanBase再次刷新了數(shù)據(jù)庫處理峰值,達6100萬次/秒,創(chuàng)造了新的世界紀錄。這些寶貴的經(jīng)驗是其他廠商所不具備的。
除此之外,今年9月份螞蟻金服和阿里云的業(yè)務合并,將給OceanBase帶來更加積極的改變。阿里云智能新金融業(yè)務部總裁劉偉光說道:“我們的目標是把整個面向金融的技術棧做的更厚,不僅是數(shù)據(jù)庫,我們還會將云計算、中間件、智能風控等技術結合在一起,構成一個自頂向下非常完整面向金融級的技術棧,為金融行業(yè)的客戶提供更多、更豐富的技術選擇。”
阿里云和螞蟻金服,一個是基礎架構,一個是應用架構,合二為一,將會形成指數(shù)倍的力量?!痹朴嬎惆l(fā)展頭十年,大部分在公有云上運行的客戶是一些初創(chuàng)公司和互聯(lián)網(wǎng)公司。而發(fā)展到第二階段,有了螞蟻金服的技術支持,是幫助傳統(tǒng)企業(yè)上云的時候了。這是所有云計算廠商在中國走向的第二個階段?!?/p>
據(jù)悉,在2017年,OceanBase向銀行、保險等金融機構對外開放后,南京銀行國內首個商業(yè)銀行分布式互聯(lián)網(wǎng)核心業(yè)務系統(tǒng)順利上線運營。而在今年阿里云和螞蟻金服也聯(lián)手贏得了四川農(nóng)信新一代分布式架構平臺項目。
“阿里有非常獨特的優(yōu)勢,所有的技術都來自于實踐,這點和同行和友商有非常大的不同,在我們場景下驗證過的技術才拿到外部市場。這是阿里區(qū)別于其他數(shù)據(jù)庫廠商的獨特基因。”劉偉光說。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。