雙11的“痛”只有云知道

謝靖 億歐 2016-10-25 10:30:34

雙11背后的科技支撐:飛天系統(tǒng)、OceanBase數(shù)據(jù)庫(kù)、混合云架構(gòu)??萍嫉牧α恳炎屛覀冋驹跉v史最澎湃的浪花中,感受著前無(wú)古人的變化,這種前所未有的體驗(yàn),還將在科技不斷變革的過(guò)程中繼續(xù)進(jìn)化。

hangye-yunjisuan.jpg

被譽(yù)為春節(jié)、國(guó)慶之后又一大節(jié)慶日 “雙11”即將臨近,面對(duì)這個(gè)年度終極大考,各路電商平臺(tái)及商家積極備戰(zhàn),線上線下忙得不亦樂(lè)乎,籌備期從8月份開(kāi)始一直到目前預(yù)熱階段,各種組織計(jì)劃,痛并快樂(lè)著,只為雙11那天零點(diǎn)時(shí)刻的狂歡。在這一片歌舞升平中,另一個(gè)為雙11保駕護(hù)航的神器——云服務(wù)器,也在默默等待著新挑戰(zhàn),期待著續(xù)寫(xiě)新傳奇。

2015年雙11,全天交易額912.17億元,支付峰值達(dá)每秒鐘8.59萬(wàn)筆,相比于2014年雙11當(dāng)天交易額571.12億元,支付峰值每秒鐘4.75萬(wàn)筆數(shù)據(jù),去年有了接近翻倍的亮眼表現(xiàn)。面對(duì)如此大規(guī)模流量涌入,平臺(tái)保持流暢的客戶體驗(yàn),各項(xiàng)系統(tǒng)正常運(yùn)行,交易過(guò)程快速精準(zhǔn)有很大必要。雖然用戶感受并不明顯,但對(duì)比早期鐵路搶票軟件延遲甚至崩潰,雙11服務(wù)器的處理能力確實(shí)值得稱(chēng)贊,不過(guò)人們也難免會(huì)事后諸葛,對(duì)阿里穩(wěn)坐釣魚(yú)臺(tái)只有贊揚(yáng)卻不知背后巨額的科技投入。作為全世界最大云計(jì)算系統(tǒng)之一,阿里云支撐著雙11一次又一次刷新紀(jì)錄,面對(duì)巨大的流量處理和隱形的黑客攻擊,阿里云這根定海神針再次成為了阿里帝國(guó)的堅(jiān)強(qiáng)后盾。

被逼無(wú)奈,飛天系統(tǒng)橫空出世

簡(jiǎn)單來(lái)說(shuō),如果把阿里云看成一臺(tái)計(jì)算機(jī),飛天系統(tǒng)就是它的操作系統(tǒng),其任務(wù)就是把數(shù)萬(wàn)臺(tái)服務(wù)器通過(guò)專(zhuān)線聯(lián)系,組成一個(gè)超大計(jì)算機(jī)集群。在飛天系統(tǒng)還未誕生之前,阿里巴巴多數(shù)據(jù)處理任務(wù)是建立在開(kāi)源軟件Hadoop系統(tǒng)之上,這個(gè)集群大概有3000-4000臺(tái)服務(wù)器構(gòu)成。隨著阿里業(yè)務(wù)飛速擴(kuò)展,原有系統(tǒng)計(jì)算能力已經(jīng)接近極限,一旦到達(dá)計(jì)算頂點(diǎn),企業(yè)將不得不面臨主動(dòng)降低業(yè)務(wù)規(guī)模的尷尬處境,所以說(shuō)飛天系統(tǒng)是被逼出來(lái)的,一點(diǎn)也不夸張。Hadoop不僅在計(jì)算能力上無(wú)法滿足阿里需求,同時(shí)其本地賬戶管理的屬性決定它在日后不能提供云資源出租服務(wù),因此從當(dāng)前與長(zhǎng)遠(yuǎn)角度依靠自生力量來(lái)建設(shè)自己的系統(tǒng)已經(jīng)迫在眉睫,在這樣的情境下,飛天系統(tǒng)橫空出世,在2013年同時(shí)上線兩個(gè)5K集群(5K即5000臺(tái)服務(wù)器集合)。

飛天系統(tǒng)是用來(lái)做什么

飛天系統(tǒng)最主要功能是以大規(guī)模計(jì)算能力為基礎(chǔ),進(jìn)行大數(shù)據(jù)調(diào)度、最優(yōu)解求算和信息的跟蹤關(guān)聯(lián)。用飛天系統(tǒng)首席架構(gòu)師唐洪的話說(shuō),就是從最基本的數(shù)據(jù)處理著手:數(shù)數(shù)和排序。通過(guò)對(duì)億萬(wàn)賣(mài)家和買(mǎi)家的信息進(jìn)行計(jì)算,可以分析商品賣(mài)出數(shù)量,賣(mài)出時(shí)間,進(jìn)而得到商品庫(kù)存和銷(xiāo)售情況;通過(guò)數(shù)據(jù)分析,用最快速度搜索自己想要的產(chǎn)品;通過(guò)數(shù)據(jù)關(guān)聯(lián),判斷用戶性別喜好,然后根據(jù)場(chǎng)景做出精準(zhǔn)商品推薦;通過(guò)數(shù)據(jù)整合,判斷一個(gè)人是否有信用污點(diǎn),在金融產(chǎn)品中決定給申請(qǐng)者的貸款額度,控制壞賬率,這都是飛天系統(tǒng)的具體應(yīng)用。這一系列的計(jì)算是由全球各地的數(shù)據(jù)中心,幾十萬(wàn)臺(tái)服務(wù)器來(lái)支撐。

飛天系統(tǒng)的特性:可靠性、可用性

飛天系統(tǒng)作為一個(gè)24小時(shí)不間斷運(yùn)行的服務(wù)平臺(tái),可靠性和可用性是最基礎(chǔ)的條件。從可靠性來(lái)講,要滿足網(wǎng)站高頻、適時(shí)的業(yè)務(wù)交易需求,當(dāng)數(shù)據(jù)中心發(fā)生意外情況時(shí),需要有多個(gè)數(shù)據(jù)中心能協(xié)同工作,并保證數(shù)據(jù)安全不受影響。從可用性來(lái)講,一般跨區(qū)域超1000公里以上的網(wǎng)絡(luò)延遲在30毫秒內(nèi)時(shí),用戶基本沒(méi)有感受,但用戶打開(kāi)一個(gè)阿里界面時(shí)背后有近100次后端交互,如果全部異地遠(yuǎn)距離完成意味著頁(yè)面的響應(yīng)速度會(huì)很慢,其延遲會(huì)帶來(lái)很差的客戶體驗(yàn),甚至?xí)霈F(xiàn)界面無(wú)法刷出的情況,所以高可用性也是一項(xiàng)基本需求。

阿里云的使用體驗(yàn)中,這兩項(xiàng)基本服務(wù)可以滿足客戶的體驗(yàn)要求,如果放在一個(gè)大的用戶環(huán)境下,數(shù)以億計(jì)訪問(wèn)量及交易量的使用場(chǎng)景中還能保持系統(tǒng)的體驗(yàn)感,說(shuō)明系統(tǒng)的設(shè)計(jì)有著極高的技術(shù)水平。而作為支撐這兩項(xiàng)能力的基礎(chǔ),分布式關(guān)系數(shù)據(jù)庫(kù)和混合云架構(gòu)則是核心中的核心。

OceanBase數(shù)據(jù)庫(kù):王牌中的王牌

在商用數(shù)據(jù)庫(kù)市場(chǎng),IOE是人們無(wú)法回避的話題:IBM是服務(wù)器提供商;Oracle是數(shù)據(jù)庫(kù)軟件提供商;EMC則是存儲(chǔ)設(shè)備提供商,三者構(gòu)成了從軟件到硬件的企業(yè)數(shù)據(jù)庫(kù)系統(tǒng),幾乎壟斷了全世界大部分商用數(shù)據(jù)庫(kù)系統(tǒng)市場(chǎng)份額。無(wú)論是銀行還是大型國(guó)企,其IT系統(tǒng)都是基于IOE系統(tǒng)。但是隨著企業(yè)數(shù)據(jù)量增加,原有IT系統(tǒng)需要不斷擴(kuò)展性能來(lái)支撐業(yè)務(wù)發(fā)展,這是一筆很大費(fèi)用開(kāi)支,另外國(guó)內(nèi)對(duì)數(shù)據(jù)安全重視程度在不斷加深,自主研發(fā)基礎(chǔ)設(shè)施成為許多大企業(yè)的目標(biāo),阿里開(kāi)發(fā)OceanBase也是基于自身戰(zhàn)略考量。

OceanBase是阿里巴巴首個(gè)應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫(kù),于2010年誕生,2014年支撐了阿里10%的雙11交易流量并應(yīng)用于網(wǎng)商銀行底層數(shù)據(jù)庫(kù),成為第一家擺脫商業(yè)數(shù)據(jù)庫(kù)的金融機(jī)構(gòu),與傳統(tǒng)數(shù)據(jù)庫(kù)相比,其擴(kuò)展性更強(qiáng),能更好應(yīng)對(duì)雙11這類(lèi)大流量沖擊。同時(shí)維護(hù)成本優(yōu)勢(shì)明顯,既能節(jié)省數(shù)據(jù)庫(kù)軟件許可費(fèi)還不需要昂貴的共享存儲(chǔ)設(shè)備和高性能服務(wù)器。阿里巴巴通過(guò)它能更好地控制基礎(chǔ)設(shè)施供應(yīng)能力,保證業(yè)務(wù)發(fā)展不受羈絆。

混合云架構(gòu),釋放存儲(chǔ)的洪荒之力

2015年雙11,淘寶天貓的核心交易鏈與支付寶核心支付鏈條從原有數(shù)據(jù)庫(kù)上切換到了阿里云公共平臺(tái),專(zhuān)有云完成到公共云切換,證明了混合云模式的成熟。這意味著阿里自身富裕的存儲(chǔ)空間可以被用來(lái)向市場(chǎng)提供存儲(chǔ)服務(wù),依照不同企業(yè)特性及需求來(lái)定制云服務(wù)。存儲(chǔ)能力的釋放讓阿里云成為阿里業(yè)務(wù)增長(zhǎng)新引擎。

飛天系統(tǒng)、OceanBase數(shù)據(jù)庫(kù)、混合云架構(gòu)都是支撐雙11流量計(jì)算的重要支柱,滿足其業(yè)務(wù)量不斷上漲需求,為阿里進(jìn)一步擴(kuò)張做出了貢獻(xiàn)。但早期這些技術(shù)開(kāi)發(fā)并不在計(jì)劃之內(nèi),而是在企業(yè)面對(duì)問(wèn)題,解決問(wèn)題的過(guò)程中衍生出來(lái),最終得以修成正果。

阿里巴巴技術(shù)委員會(huì)主席王堅(jiān)從最早YunOS系統(tǒng)的應(yīng)用坎坷,到阿里云核心系統(tǒng)自主研發(fā)時(shí)的不被理解和飽受爭(zhēng)議,再到最后一飛沖天,中間坎坷曲折、峰回路轉(zhuǎn)非參與者難以與之感同身受。當(dāng)我們?cè)谡務(wù)撾p11的林林總總,享受網(wǎng)上購(gòu)物的快捷便利時(shí),科技的力量已讓我們站在歷史最澎湃的浪花中,感受著前無(wú)古人的變化,這種前所未有的體驗(yàn),還將在科技不斷變革的過(guò)程中繼續(xù)進(jìn)化。


長(zhǎng)按二維碼關(guān)注我們