1
本文作者: 張帥 | 2019-07-31 20:54 |
IT產(chǎn)業(yè)正在經(jīng)歷新的周期,離散的私有IT基礎(chǔ)設(shè)施轉(zhuǎn)向集中式,這在產(chǎn)業(yè)發(fā)展史上已經(jīng)不甚新鮮,主機(jī)時(shí)代、PC時(shí)代我們都曾經(jīng)歷過不同的轉(zhuǎn)變,從主機(jī)的集中到個(gè)人計(jì)算機(jī)的分散再到云計(jì)算,IT的發(fā)展似乎也在遵循著“否定之否定”的鐘擺定理。
數(shù)據(jù)庫作為計(jì)算機(jī)架構(gòu)的核心底層軟件,同樣處于變化之中,其歷史可以追溯到1970年,50年來數(shù)據(jù)庫領(lǐng)域廠商進(jìn)進(jìn)出出,但傳統(tǒng)數(shù)據(jù)庫廠商的地位從未動(dòng)搖,直到云計(jì)算的出現(xiàn)。
Gartner預(yù)測,到2023年全球3/4的數(shù)據(jù)庫都會(huì)跑在云上,企業(yè)正將新應(yīng)用向云轉(zhuǎn)移,對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算分析的能力要求不斷加強(qiáng)。云數(shù)據(jù)庫天然具備云上靈活性,能夠提供強(qiáng)大的創(chuàng)新能力、豐富多樣的產(chǎn)品體系、經(jīng)濟(jì)高效的部署方式和按需付費(fèi)的支付模式。雷鋒網(wǎng)對(duì)話騰訊云數(shù)據(jù)庫產(chǎn)品總監(jiān)王義成,獲悉騰訊云在云原生時(shí)代的數(shù)據(jù)庫發(fā)展思路。
上圖顯現(xiàn)了騰訊云數(shù)據(jù)產(chǎn)品及工具的整體布局,最上層是數(shù)據(jù)庫的SaaS層,包括DTS數(shù)據(jù)遷移類服務(wù),支持MySQL、Redis、PG等通用開源協(xié)議;DMS數(shù)據(jù)管理層,幫助用戶實(shí)現(xiàn)圖形化數(shù)據(jù)管理;另外包括數(shù)據(jù)審計(jì)、數(shù)據(jù)訂閱等,審計(jì)支持實(shí)時(shí)記錄所有的增刪改查操作,訂閱可幫助用戶獲取云數(shù)據(jù)庫的實(shí)時(shí)增量更新數(shù)據(jù),支持動(dòng)態(tài)增減訂閱對(duì)象、在線查看訂閱數(shù)據(jù)、修改消費(fèi)時(shí)間點(diǎn)等特性;災(zāi)備,用于跨云容災(zāi)和構(gòu)建混合云場景。
另外,用戶僅需提交問題和需求,即可獲得騰訊云數(shù)據(jù)庫專家的專業(yè)支持。騰訊云數(shù)據(jù)庫專家服務(wù)團(tuán)隊(duì)均有10年以上的 DBA 經(jīng)驗(yàn),擁有億級(jí)用戶產(chǎn)品的數(shù)據(jù)庫管理經(jīng)驗(yàn)。據(jù)了解,騰訊云數(shù)據(jù)庫推出的數(shù)據(jù)庫智能管理工具也即將上線,支持7×24小時(shí)的數(shù)據(jù)庫智能監(jiān)控告警。
往下是數(shù)據(jù)庫的PaaS層,包括關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、分布式數(shù)據(jù)庫和數(shù)據(jù)倉庫、新一代數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫包括MySQL、Redis、PostGreSQL、MariaDB、SqLServer,Tdata,非關(guān)系型包括Redis、MemCache,MongoDB、CKV等等。
很多數(shù)據(jù)庫其實(shí)離我們?nèi)粘I詈芙?,騰訊自研的非關(guān)系型的數(shù)據(jù)庫CKV在微信紅包場景中大批量使用,按訪問量來收費(fèi)的TcaplusDB在《王者榮耀》游戲中使用,很多游戲類應(yīng)用或者騰訊系衍生的一些服務(wù)都會(huì)使用TcaplusDB。
據(jù)王義成介紹,騰訊數(shù)據(jù)庫的發(fā)展史從QQ起步,開始是一種最早以的KV形式存儲(chǔ),當(dāng)時(shí)Redis還沒誕生,然后向CKV逐漸演變,再之后到財(cái)付通上線意味著騰訊有了純粹的金融業(yè)務(wù),也是MySQL在開源社區(qū)萌芽時(shí)期,故而騰訊沒有選用傳統(tǒng)的商業(yè)數(shù)據(jù)庫,而是在MySQL基礎(chǔ)上修改。
當(dāng)然,最初都是痛苦的,騰訊也不例外。比如單庫壓力太大或者說主機(jī)延遲比較大等問題,倒逼MySQL演進(jìn)到分布式數(shù)據(jù)庫,就是如今的TDSQL?!白钤缡窃隍v訊內(nèi)部開始演進(jìn),從單機(jī)節(jié)點(diǎn)到集群版,然后逐漸演進(jìn),再從一主一備,然后直接演進(jìn)到三節(jié)點(diǎn),基于Raft模式,這就是騰訊數(shù)據(jù)庫自研的歷史。”
此外,騰訊內(nèi)部還有很多數(shù)據(jù)分析類業(yè)務(wù),如廣告等業(yè)務(wù),需要混合OLTP和OLAP而成的HTAP數(shù)據(jù)庫系統(tǒng),基于OLTP的交易數(shù)據(jù)、OLAP的分析類數(shù)據(jù),做整個(gè)廣告業(yè)務(wù)推薦、分析。
“騰訊整個(gè)大的策略也是整個(gè)集團(tuán)內(nèi)部上云,TDSQL、CKV本就是騰訊內(nèi)部演進(jìn)的一些產(chǎn)品,在目前逐漸地遷移到云化的機(jī)房來,這是一類;還有一類就是云數(shù)據(jù)庫,完全基于云開發(fā)的數(shù)據(jù)庫, 比如像CynosDB、MongoDB,基于開源的Redis也在騰訊內(nèi)部開始云化,原來有些新興業(yè)務(wù)或者以前沒有用到開源數(shù)據(jù)庫的業(yè)務(wù)也開始逐步遷移上云。比如一些游戲場景和廣告部門,他們可能原來自己沒有MongoDB或者Redis整體的底層架構(gòu),現(xiàn)在也自動(dòng)在騰訊內(nèi)部云化環(huán)境里開始使用”。王義成介紹。
從某種程度上來說,AWS一篇論文開啟了云原生數(shù)據(jù)庫時(shí)代,AWS認(rèn)為,高吞吐量數(shù)據(jù)處理的核心問題已經(jīng)從計(jì)算和存儲(chǔ)移到了網(wǎng)絡(luò)IO,Aurora提出了一種新的關(guān)系型數(shù)據(jù)庫架構(gòu),將REDO日志的處理下沉到一個(gè)專門為Aurora定制的多租戶可擴(kuò)展的存儲(chǔ)服務(wù)上。
數(shù)據(jù)庫就此進(jìn)入下一個(gè)紀(jì)元——云原生。
2018年11月,騰訊云公布了新一代自研云原生數(shù)據(jù)庫CynosDB,目前處于公測階段,將于今年Q3正式推出商業(yè)版本。CynosDB數(shù)據(jù)庫100%兼容開源數(shù)據(jù)庫引擎 MySQL 5.7和 PostgreSQL 10,幾乎無需改動(dòng)代碼,即可完成現(xiàn)有數(shù)據(jù)庫的查詢、應(yīng)用和工具平滑遷移;最高性能是 MySQL 數(shù)據(jù)庫八倍、PostgreSQL 數(shù)據(jù)庫的四倍;最高128TB的海量存儲(chǔ),無服務(wù)器Serverless架構(gòu),自動(dòng)擴(kuò)縮容。
騰訊云云原生數(shù)據(jù)庫CynosDB產(chǎn)品架構(gòu)
過去的云數(shù)據(jù)庫是在傳統(tǒng)數(shù)據(jù)庫之上擴(kuò)展一部分云的能力,把數(shù)據(jù)庫賦予一部分云的擴(kuò)展性,但沒有對(duì)數(shù)據(jù)庫本質(zhì)上做任何的改變,只是給用戶提供了一些基礎(chǔ)的運(yùn)維和初級(jí)DBA的能力,而CynosDB這類數(shù)據(jù)庫走的是純粹的云原生路線。
數(shù)據(jù)庫真正的挑戰(zhàn)在內(nèi)核級(jí),以MySQL為例,傳統(tǒng)的MySQL數(shù)據(jù)寫在內(nèi)存,然后再刷到REDO里去,通過REDO再去刷內(nèi)存頁,再輸?shù)酱疟P,這樣帶來一個(gè)明顯問題,擴(kuò)容磁盤就必須要導(dǎo)數(shù)據(jù),因?yàn)檎麄€(gè)緩存和數(shù)據(jù)都是在一臺(tái)機(jī)器上。CynosDB把計(jì)算和存儲(chǔ)分開,REDO層面不在本機(jī)內(nèi)刷,而是通過網(wǎng)絡(luò)傳到共享存儲(chǔ),讓存儲(chǔ)層去感知MySQL REDO日志,在存儲(chǔ)層做日志回放。計(jì)算只負(fù)責(zé)計(jì)算,不再負(fù)責(zé)存儲(chǔ)數(shù)據(jù)了。
“為什么做CynosDB?傳統(tǒng)的數(shù)據(jù)庫+云的模式?jīng)]有給用戶帶來很多驚喜,我們認(rèn)為,未來方向是“云+數(shù)據(jù)庫”,數(shù)據(jù)庫將會(huì)發(fā)生根本性變革。云原生、超融合、自治是帶領(lǐng)騰訊云數(shù)據(jù)庫發(fā)展的三駕馬車。CynosDB就是云原生時(shí)代的產(chǎn)物?!?/p>
王義成形象地比喻,傳統(tǒng)數(shù)據(jù)庫如SQL Server或者云+數(shù)據(jù)庫形式,類似于買寬帶,放到云計(jì)算領(lǐng)域則是實(shí)例,不管用多少,怎么用,都要使用租用的方式,但實(shí)際使用量級(jí)可能比購買的要小很多。
“CynosDB是商業(yè)模式上的一種變化,但商業(yè)模式的變化一定是技術(shù)架構(gòu)或者說技術(shù)的重新改造。以前是基于物理基因的模式去搞一個(gè)實(shí)例去做,用戶做一次升級(jí)或者搬遷,都要全面要把數(shù)據(jù)搬走。CynosDB實(shí)現(xiàn)存儲(chǔ)跟計(jì)算分離,存儲(chǔ)是一個(gè)大的共享磁盤,并且讓磁盤存儲(chǔ)能夠感知MySQL或者數(shù)據(jù)庫的協(xié)議,然后把日志下沉,在存儲(chǔ)的擴(kuò)展性和性能上經(jīng)過良好的一個(gè)中和。”
“云原生數(shù)據(jù)庫市場可能在未來的兩三年內(nèi)就會(huì)爆發(fā)”,王義成給出了兩個(gè)原因。
第一,公有云的增量市場可能不會(huì)像以前那么快,達(dá)到之前的100%、200%,在這種市場條件下,云原生數(shù)據(jù)庫更迎合市場需求,云廠商需要逐漸教育市場。
另一方面,當(dāng)前國外數(shù)據(jù)庫廠商的技術(shù)壟斷逐漸被打破,國產(chǎn)數(shù)據(jù)庫崛起勢頭強(qiáng)勁有望進(jìn)一步發(fā)展,數(shù)據(jù)庫市場即將開始下半場角逐,云廠商是影響這場戰(zhàn)役新的變量。與Oracle對(duì)標(biāo)并做到Oracle這種程度是很長的過程,當(dāng)下并不現(xiàn)實(shí)。
廠商如何用對(duì)數(shù)據(jù)庫市場的理解,或者在數(shù)據(jù)庫技術(shù)上的優(yōu)勢來去打動(dòng)價(jià)值20-40億元的市場客戶,是擺在數(shù)據(jù)庫廠商面前的現(xiàn)實(shí)問題。雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)文章:
傳統(tǒng)商業(yè)數(shù)據(jù)庫躊躇 云數(shù)據(jù)庫借道云原生
上海AI研究院完成招募;倡導(dǎo)數(shù)據(jù)庫自由;云服務(wù)降價(jià)丨AWS技術(shù)峰會(huì)
10 萬個(gè)名人,1000 萬張照片,全球最大人臉識(shí)別數(shù)據(jù)庫被刪除了
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。