《騰訊云數(shù)據(jù)庫CDB技術(shù)介紹課件》由會員分享，可在線閱讀，更多相關(guān)《騰訊云數(shù)據(jù)庫CDB技術(shù)介紹課件（17頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、,9/1/2018,#,9/1/2018,#,騰訊云數(shù)據(jù)庫,CDB,技,術(shù)介紹,技術(shù)創(chuàng)新，變革未來,目錄,云數(shù)據(jù)庫概覽,CD,B,之存儲篇,CD,B,之復制篇,CD,B,之引擎篇,云數(shù)據(jù)庫概覽,-,什,么,是,云,數(shù),據(jù),庫,N,I,S,T,關(guān)于云計算服務的,基,本特,征,定義,隨需應變自助服務,隨時隨地用任何網(wǎng)絡設,備,訪問,多人共享資源池,快速重新部署靈活度,可被監(jiān)控與量測的服務,云計算,滿足云計算特征的數(shù)據(jù)庫服務,數(shù)據(jù)庫內(nèi)核,+,云化功能,云數(shù)據(jù)庫概覽,-,騰訊,的,云,數(shù),據(jù),庫,SQL,NoSQL,C,D,B,云數(shù)據(jù)庫概覽,-,C,D,B,內(nèi),核,技,術(shù),棧,接入集群,實例集群,T,

2、X,S,Q,L,T,X,S,Q,L,T,X,S,Q,L,LogBus復制通道,存,儲,集群,路由,安全,HA,數(shù)據(jù)庫引擎,多副本復制,數(shù)據(jù)存儲,C,D,B,之存儲篇,-,三,次,存,儲,革命,S,A,S,-,R,a,i,d,SSD-,Cluster1.0,SSD,SSD-,Cluster2.0,階段1,階段2,階段3,階段4,根據(jù)存儲介質(zhì)特性，進行數(shù)據(jù)庫,存,儲技術(shù),設,計,數(shù)據(jù)庫存儲的本質(zhì)：面向塊的存儲,C,D,B,之存儲篇,-,第,一,次,革,命,SAS,Raid,存儲的主要矛盾,基于,S,A,S,陣列,的,數(shù),據(jù),庫,存,儲,性能問題：隨機IO性,能,不高,擴展性問題：單機最大,存,儲容

3、,量,受限,成本問題：價格貝佐斯,定,律帶,給,成,本,的,挑戰(zhàn),SSD,Raid,存儲可行性,選擇,SATA,SSD：2011年,PCI-E,SSD,剛剛興起,性能問題：隨機IO性,能,有較,大,提升,擴展性問題：依舊存在,成本問題：單位存儲成,本,更高,SSD,使用的問題：寫,放,大、,寫,性能,下,降,解決問題的思路,基于,SSD,的存儲系統(tǒng),有,嗎？,分布式,KV,分布式,KV,解決了性能、擴,展,性,、,SSD,使,用問題,分布式,KV,和數(shù)據(jù)庫存儲的,聯(lián),系,：block,塊,block,的數(shù)據(jù),模,型,(Disk,LBA,Value)(Key,Value),文件讀寫,文件系統(tǒng),S

4、,A,S,陣列,磁盤塊讀寫,CDB,之存儲篇,-,第,一,次,革,命,(Cont.1),SSD,Cluster1.0存儲,虛擬塊設備,+IO,網(wǎng)絡,化,塊讀,寫,轉(zhuǎn)化,為,KV,操作,適配,SSD,特性的,KV,存儲,系,統(tǒng),MySQL,層優(yōu)化：,千,兆網(wǎng),絡,瓶,頸,&,去double,write,文件系統(tǒng),&,塊設備調(diào)優(yōu),成本問題：按需分配、,動,態(tài)伸,縮,、,文件讀寫,文件系統(tǒng),磁盤塊讀寫,虛擬塊設備,網(wǎng)絡,K,V,讀寫,SSD-KV,基于,SSD,Cluster1.0,的,數(shù)據(jù),庫,存儲,運營中的故事,存儲集群的蝴蝶效應,C,D,B,之存儲篇,-,第,二,次,革,命,SSD,Clust

5、er1.0的主要,矛,盾,基于,PCI-E,SSD的數(shù)據(jù)庫存儲,開發(fā)商的變化：IO密,集,型核,心,應用,上,云,存儲介質(zhì)的變化,：PCI-E,SSD,量大價低,性能不夠，性價比沒優(yōu)勢,PCI-E,SSD,Cluster存儲可行性,IO性能：相比本地，,網(wǎng),絡和,分,布式,帶,來額,外,開銷,擴展性：單機最大本地,存,儲,6T,SSD,使用的問題,：SSD,FTL,的進一步,優(yōu),化,成本問題：相比本地，,優(yōu),勢有,，,但已,不,是主,要,矛盾,運維成本：相比本地，,更,高,解決問題的思路,選擇本地,PCI-E,SSD,選擇新的技術(shù)制高點：,數(shù),據(jù)庫,引,擎本,身,的性,能,和穩(wěn),定,性,文件讀

6、寫,文件系統(tǒng),磁盤塊讀寫,C,D,B,之存儲篇,-,第,三,次,革,命,PCI-E,SSD,的主要矛盾,開發(fā)商的變化：金融、,政,企等,數(shù),據(jù)庫,上,云,DB,要求：兼容性、,RTO,、,RPO,、,擴,展性,四,個都,不,能少,擴展性問題：容量無法,和,SANNAS,專,有,存,儲,相比,中間件,sharding,解決了擴展,性,問題,，,但兼,容,性有,問,題,解決問題的思路,主要目標,：100TB,以,下,，SQL,完全,兼,容的,傳,統(tǒng)行,業(yè),DB,服務,SDP：Shared,Disk,Parallel,數(shù)據(jù)庫節(jié)點和存儲分離,，,數(shù)據(jù),庫,節(jié)點,有,主從,之,分,盡量減少IO次數(shù)：主,

7、數(shù),據(jù)庫,節(jié),點才,能,寫存,儲,集群，,從,節(jié)點,不,會寫,C,D,B,之復制篇,-,三,種,復,制,模式,異步復制,半同步復制,強一致復制,階段1,階段2,階段3,復制結(jié)合機房部署，靈活選擇，,達,到最有,效,的容災,效,果,C,D,B,之復制篇,-,半,同,步,的,一,些,問題,MySQL半同步的主要問題,無法做到,強一致,：自動,降,級、,靈,活的,多,zone,部,署,下的,一,致性,要,求,半同步下,性能,下降多,MySQL,Native,Semi,Sync,Replication,C,D,B,之復制篇,-,性,能,優(yōu)化,性能關(guān)鍵因子,單個事務耗時：用戶層,面,的響,應,時間,，,

8、每個,事,務耗,時,多,少,ms,系統(tǒng)整體吞吐：服務層,面,的處,理,能力,，,一,臺,機,器,每,秒,能處,理,事務,數(shù),(TPS,),單個事務耗時,T,total,=T,sql,+T,engine,+T,replicate,T,sql,和,T,engine,在同步復制下不是,關(guān),鍵,瓶頸,T,replicate,=T,binlog,網(wǎng)絡傳輸,+,T,slave,落地binlog，,T,binlog網(wǎng)絡傳輸,取決于,RTT,值,測試數(shù)據(jù)：,全cache下,MySQL,異,步,單事,務,耗,時,3.37ms；,半同步單事務耗時,8.33ms，,測,試環(huán),境,RTT,值,2.6ms，T,slav

9、e,落地binlog,為,1.9ms,測試機器順序,512B,的,write+fsync,延時,0.13ms，T,slave,落地binlog,優(yōu)化空,間,大,系統(tǒng)整體吞吐,吞吐,=,并發(fā)數(shù),/,單個事務,耗,時,并發(fā)數(shù)取決于各種資源,的,利用,率,，,如,master,的事,務,線程,、,master,的,binlog,發(fā)送,/,響應 線程、,slave,的,binlog,接收,線,程等,利,用,率,情況,CDB,之復制篇,-,性,能,優(yōu),化,(Cont.1),MySQL,slave,的,IO,線程接收,binlog,耗,時,原因,鎖沖突：IO/SQL線,程,間的,鎖,沖突,，,如元,數(shù),據(jù)

10、文,件,鎖,小IO消耗：IO線程離,散,小磁,盤,IO,消,耗過,多,的,IOPS,串行化：IO線程接收,和,落盤,操,作,串行,構(gòu)建獨立于MySQL的快速復,制,通,道,logbus,基于,semisync,協(xié),議，,模,擬,slave,向,master,建立主,從,關(guān)系,，,同,步,binlog,避免原生相關(guān)耗時瓶頸,外置logbus，減少,對,MySQL,的侵,入,，方,便,各種,分,支兼容,數(shù)據(jù)庫版本,同步類型,TPS,單事務耗時,(ms),同步,RTT,性能基準對比,MySQL5.7,異步,33193,3.82,2.60,100%,MySQL5.7,半同步,15395,8.32,2.

11、60,46.30%,MySQL5.7,logbus,22169,5.92,2.60,66.79%,CDB,之復制篇,-,性,能,優(yōu),化,(Cont.2),優(yōu)化,MySQL,5.6的,binlog,發(fā)送、響應,binlog,同步阻塞,傳,輸模,型,：master,binlog,dump,線程發(fā)送某個,事,務,binlog,后，等待,slave,回包,后,，再,發(fā),送下,一,個事,務,binlog,。理,論,上最大,QPS=1000/RTT(ms),。一,般,情況,同,城跨,園,區(qū)之,間,RTT,為,3ms,左,右,，QPS,峰值,約330,方案：,master,binlog,發(fā)送和接收,異,步化,，dump,線,程負,責,發(fā)送,，ack,線程,負責處理回包，通知事,務,線程,繼,續(xù)提交,ACK,Tx1,。,master,slave,master,slave,。,T,x,2,T,x,1,T,x,3,SND,Tx1,SND,Tx2,ACK,Tx2,。,A,C,K,1,A,C,K,2,A,C,K,3,CDB,之引擎篇,-TXSQL,面向運維優(yōu)化,面向,b,u,g,優(yōu)化,面向性能優(yōu)化,深度定制,階段1,階段2,階段3,階段4,自研技術(shù),：20+,社區(qū)紅利,：30+,CDB,之引擎篇,-TXSQL,特,性,概,覽,