國產(chǎn)數(shù)據(jù)庫們的春天來了

佚名 2019-10-24 17:01:54

作為一個(gè)畢業(yè)在數(shù)據(jù)庫方向上的PhD,雖然畢業(yè)之后主要從事大數(shù)據(jù)的研發(fā)工作,我對數(shù)據(jù)庫領(lǐng)域也一直保持了很大的關(guān)注。國產(chǎn)數(shù)據(jù)庫這幾年的發(fā)展取得了長足的進(jìn)展。

最近,OceanBase在TPC-C的測試中,以60880800tmpC的成績戰(zhàn)勝了榜單上的Oracle,后者的成績是30249688tpmC。這件事情又讓業(yè)界對國產(chǎn)數(shù)據(jù)庫的關(guān)注提到了一個(gè)很高的高度。

的確,這幾年,國產(chǎn)數(shù)據(jù)庫的進(jìn)步也是有目共睹的,尤其是隨著國內(nèi)移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展,給很多國產(chǎn)新型數(shù)據(jù)庫的應(yīng)用創(chuàng)造了全球獨(dú)一無二的場景。這在很大程度上推動(dòng)國產(chǎn)數(shù)據(jù)庫和以oracle為代表的傳統(tǒng)數(shù)據(jù)庫廠商之間的差距在逐漸縮小,甚至某些層面,呈現(xiàn)趕超之勢。

image.png

如果深挖這幾年國產(chǎn)數(shù)據(jù)庫的發(fā)展,大概的研發(fā)模式分為兩個(gè)截然不同的路徑。

第一條路徑是以早年的達(dá)夢,人大金倉和南大通用等幾家公司為主。這些數(shù)據(jù)庫公司的主要特點(diǎn)是由大學(xué)教授創(chuàng)辦,產(chǎn)品無論是以O(shè)racle為參照的達(dá)夢還是以面向數(shù)據(jù)分析為主的數(shù)據(jù)倉庫系統(tǒng)的南大通用,產(chǎn)品在投資規(guī)模上以及開發(fā)人員上相對較少,功能與性能和國外競爭對手比起來競爭力和優(yōu)勢不夠突出。

事實(shí)上,數(shù)據(jù)庫產(chǎn)品的研發(fā)是一個(gè)大投入,長周期,對技術(shù)要求很高的領(lǐng)域。但是不管怎么說,作為國產(chǎn)數(shù)據(jù)庫的第一批企業(yè),他們對中國數(shù)據(jù)庫整體技術(shù)的發(fā)展,還是做出了不可磨滅的里程碑式的貢獻(xiàn)。

中國數(shù)據(jù)庫產(chǎn)品的研發(fā)的另外一條路徑,是中國的非數(shù)據(jù)庫企業(yè),由于自身業(yè)務(wù)的需要,對外采購以O(shè)racle為代表的數(shù)據(jù)庫產(chǎn)品,從業(yè)務(wù),或者成本等方面考慮,無法滿足自身需要,從而為了自己業(yè)務(wù)發(fā)展而走向了自研的道路。這里尤其是以中國的通信企業(yè)和互聯(lián)網(wǎng)企業(yè)為代表。

中國通信企業(yè)的代表華為公司,最近發(fā)布了自研長達(dá)9年之久的GaussDB。按照發(fā)布會(huì)的說法,這是基于PostgreSQL9.2版本開發(fā)的的數(shù)據(jù)庫,有多個(gè)不同的型號,可以支持OLTP,OLAP以及HTAP的場景需求。性能功能以及穩(wěn)定性都達(dá)到了比較好的要求。

互聯(lián)網(wǎng)企業(yè)代表的有阿里和騰訊,電商企業(yè)阿里發(fā)布了自研的數(shù)據(jù)庫,主要有基于MySQL的計(jì)算存儲(chǔ)分離的云端數(shù)據(jù)庫PolarDB,以及螞蟻金服集團(tuán)自研的OceanBase數(shù)據(jù)庫。前者是阿里巴巴集團(tuán)和阿里云業(yè)務(wù)的主打,后者成為了這次TPC-C測試?yán)锩娲驍racle的主角,主要應(yīng)用于螞蟻金服的相關(guān)業(yè)務(wù)。這在此前的文章中也做了詳細(xì)闡述,這里不再展開。

另一個(gè)巨頭是騰訊,基于自身在社交、金融、游戲等數(shù)億級,甚至十億級業(yè)務(wù)用戶場景下打磨的數(shù)據(jù)庫能力,其產(chǎn)品的性能和特性也真實(shí)代表了國產(chǎn)數(shù)據(jù)庫發(fā)展的另一種發(fā)展途徑。

追溯騰訊的業(yè)務(wù)發(fā)展,由于起步階段是從KV與存儲(chǔ)分析的類型開始,然后逐步過渡到關(guān)系型數(shù)據(jù)庫的使用上來的。相對其它互聯(lián)網(wǎng)廠商,騰訊天然沒有去IOE過程,因此在投入云的過程中,云化的程度更加徹底。并且在自研的道路上,也探索出很多成熟的經(jīng)驗(yàn)。這里以他們主要的三款自研數(shù)據(jù)庫CynosDB、TDSQL、TBase來詳細(xì)說明。

騰訊云數(shù)據(jù)庫負(fù)責(zé)人曾經(jīng)跟我聊過,這三款數(shù)據(jù)庫定位各有不同,CynosDB是云原生數(shù)據(jù)庫,設(shè)計(jì)上聚焦軟件優(yōu)化與新硬件結(jié)合為理念,兼容性強(qiáng),適合開源用戶上云使用。TDSQL和TBase孵化自騰訊內(nèi)部成熟業(yè)務(wù),并且都經(jīng)過大規(guī)模高并發(fā)場景錘煉,主要應(yīng)用在分布式超大規(guī)模存儲(chǔ)并發(fā)場景以及私有云項(xiàng)目。具體TDSQL和TBase之間,TDSQL主要定位是OLTP,協(xié)議支持MySQL,TBase的定位是HTAP,支持行列混合存儲(chǔ),協(xié)議支持PG。

雖然中國數(shù)據(jù)庫起步較晚,以O(shè)racle、IBM、微軟等為代表的老牌廠商憑借先發(fā)優(yōu)勢在市場份額占據(jù)了有利位置,但是云技術(shù)的發(fā)展還是讓國產(chǎn)數(shù)據(jù)庫搭上了快班車。2018年,以騰訊、阿里、華為為代表的三大廠商不僅增速位列前列,市場份額也在逐年增加。騰訊云去年市場份額增速達(dá)到123%,位列國內(nèi)所有數(shù)據(jù)庫廠商之首。

如果增速體現(xiàn)的是市場大盤的增長,那么在復(fù)雜場景下實(shí)現(xiàn)自主可控考驗(yàn)的就是真實(shí)的技術(shù)實(shí)力。

這里一個(gè)標(biāo)志性的事件是上個(gè)月張家港農(nóng)商銀行基于騰訊云TDSQL打造的新一代核心業(yè)務(wù)系統(tǒng)成功上線,在圈里還是引起了很大的反響。這應(yīng)該是國產(chǎn)數(shù)據(jù)庫首次正式進(jìn)入金融的核心業(yè)務(wù)系統(tǒng),實(shí)現(xiàn)自主可控。性能上,高頻賬戶類交易耗時(shí)在300毫秒之內(nèi),查詢類交易耗時(shí)在100毫秒之內(nèi),20秒內(nèi)可以完成1萬筆批量代發(fā)代扣業(yè)務(wù)等等,批量業(yè)務(wù)進(jìn)行時(shí),數(shù)據(jù)庫負(fù)載均保持在10%以下,滿足張家港行未來五到十年業(yè)務(wù)發(fā)展需求。

除了TDSQL,另外一款自研數(shù)據(jù)庫TBase也應(yīng)用在廣東省的“粵省事”小程序上面,支撐超過1900萬實(shí)名注冊用戶,實(shí)現(xiàn)了包括公積金查詢及轉(zhuǎn)存、醫(yī)保報(bào)銷等700多項(xiàng)高頻便民服務(wù)事項(xiàng)辦理,累計(jì)業(yè)務(wù)量超3億筆。

其實(shí),拋開以上,騰訊云數(shù)據(jù)庫的很多理念也可圈可點(diǎn),給業(yè)內(nèi)人士不少啟發(fā),比如剛剛推出不久的DBbrain,它能夠?qū)⒋罅繑?shù)據(jù)庫問題的診斷優(yōu)化工作自動(dòng)化、智能化和可視化,可以大幅減少人工的運(yùn)維量。

和早年的數(shù)據(jù)庫廠商相比,這些從電信行業(yè),互聯(lián)網(wǎng)行業(yè)里面發(fā)展起來的數(shù)據(jù)庫,有技術(shù)、有場景、有資源投入,并且都經(jīng)歷了對自身業(yè)務(wù)支撐的考驗(yàn)。而不管是電信行業(yè)還是互聯(lián)網(wǎng)行業(yè),在對數(shù)據(jù)的規(guī)模,數(shù)據(jù)庫產(chǎn)品的功能和性能的要求,以及業(yè)務(wù)的復(fù)雜性方面,都經(jīng)過了嚴(yán)苛的實(shí)際考驗(yàn)。

這些數(shù)據(jù)庫能夠支撐起復(fù)雜的業(yè)務(wù)場景,其可用性和可靠性都是非常高的??梢哉f,經(jīng)過近10年的業(yè)務(wù)打磨,從大的通信廠商和互聯(lián)網(wǎng)公司里出來的這些數(shù)據(jù)庫產(chǎn)品,和國際同類產(chǎn)品比較起來,已經(jīng)具備了相當(dāng)強(qiáng)的競爭能力。十年磨一劍,國產(chǎn)數(shù)據(jù)庫的春天終于到來了。

原文來自“飛總聊IT”微信公眾

長按二維碼關(guān)注我們