《XXX運(yùn)營商大數(shù)據(jù)平臺(tái)規(guī)劃解決方案課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《XXX運(yùn)營商大數(shù)據(jù)平臺(tái)規(guī)劃解決方案課件（45頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版文本樣式,的,的,單擊此處編輯母版標(biāo)題樣式,#,XX,運(yùn)營商大數(shù)據(jù)平臺(tái)規(guī)劃解決方案,XX運(yùn)營商大數(shù)據(jù)平臺(tái)規(guī)劃解決方案,目 錄,二,、大數(shù)據(jù)平臺(tái)整體規(guī)劃,一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì),目 錄二、大數(shù)據(jù)平臺(tái)整體規(guī)劃一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì),大數(shù)據(jù),所謂“大數(shù)據(jù)”，,指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。,。,大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過高速獲取數(shù)據(jù)并對(duì)其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。,從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對(duì)于大數(shù)據(jù)的一個(gè)共

2、識(shí)。,海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)。,Google,首席經(jīng)濟(jì)學(xué)家,Hal Varian,大數(shù)據(jù)主要被用于分析和決策，,企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合,，對(duì)企業(yè)產(chǎn)生新的價(jià)值。,大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過,大數(shù)據(jù)對(duì),電信,運(yùn)營商的應(yīng)用價(jià)值體現(xiàn),3,1,5,4,2,自助分析、生產(chǎn)管道,可視化、資源解耦隨,需而動(dòng)，營銷實(shí)時(shí)，,以業(yè)務(wù)效率提升為標(biāo)志。,提升業(yè)務(wù)效率,數(shù)據(jù)集中到數(shù)據(jù)中心,，多數(shù)據(jù)源管理，透,明服務(wù)支持，實(shí)時(shí)的,決策和預(yù)測(cè)能

3、力提升,整體經(jīng)營管理水平。,增強(qiáng)管理水平,數(shù)據(jù)開放服務(wù)、與,OTT,廠商合作的后向收費(fèi)、,廣告等新業(yè)務(wù),.,創(chuàng)新商業(yè)模式,互聯(lián)網(wǎng)化的電子渠道,全景體驗(yàn)、個(gè)性化商,品推薦、,LBS,位置營,銷、面向客戶個(gè)體的,深度洞察,提升客戶體驗(yàn),以技術(shù)驅(qū)動(dòng)為標(biāo)志，內(nèi),存計(jì)算、,MPP,、,CEP,分而治之的分布式計(jì)算,讓運(yùn)營商實(shí)時(shí)高效決策,.,技術(shù)高效、低成本,大數(shù)據(jù)對(duì)電信運(yùn)營商的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道,XX,運(yùn)營商數(shù)據(jù),平臺(tái)現(xiàn)狀,精細(xì)化營銷數(shù)據(jù)中心,營賬系統(tǒng),經(jīng)分,(BI),GN,口上網(wǎng)話單,終端,(DM),VAC,短彩信中心,語音通話詳單,客服接觸記錄,流媒體平臺(tái)詳單,位置信令話單,基

4、站信息,116114,企業(yè)黃頁信息,渠道應(yīng)用助銷信息,經(jīng)過一二期的建設(shè)，精細(xì)化運(yùn)營平臺(tái)的數(shù)據(jù)中心，已經(jīng),成為,XX,運(yùn)營商,最大,、內(nèi)容最豐富,的數(shù)據(jù)倉庫；,隨著,數(shù)據(jù)量的增長,，需要對(duì)基礎(chǔ)架構(gòu)做長遠(yuǎn)規(guī)劃；,有必要深入,挖掘數(shù)據(jù)價(jià)值,，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤中心,XX運(yùn)營商數(shù)據(jù)平臺(tái)現(xiàn)狀精細(xì)化營銷數(shù)據(jù)中心營賬系統(tǒng)經(jīng)分(BI),5,擴(kuò)展性,增量式的、幾乎無限的擴(kuò)展,可用性,要求系統(tǒng)總是在線運(yùn)行,靈活性,靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型,擴(kuò)展性,縱向擴(kuò)展,橫向擴(kuò)展,分布式,資源集中,計(jì)算和存儲(chǔ)分布,可用性,單份數(shù)據(jù),數(shù)據(jù)復(fù)制,一致性,不要使用分布式事務(wù)處理,大數(shù)據(jù)處理的需求和特點(diǎn),5擴(kuò)展性增

5、量式的、幾乎無限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈,低成本運(yùn)營,一體化運(yùn)營,精細(xì)化運(yùn)營,全網(wǎng)運(yùn)營,實(shí)時(shí)、智能化運(yùn)營,集中化建設(shè)、管理和維護(hù),可不斷線性擴(kuò)展,提高資源綜合利用率,標(biāo)準(zhǔn)化功能組件，可共享可復(fù)用,按業(yè)務(wù)量、按需支付,BASS,與,BOSS,、,CRM,的一體化,BSS,與,MSS,、,OSS,、,VAS,等跨域一體化,對(duì)外部客戶和應(yīng)用的一體化,片區(qū)化、網(wǎng)格化管理,長尾市場、小眾市場的支撐,個(gè)性化、短周期需求的滿足,異地客戶、家庭客戶、集團(tuán)客戶,一點(diǎn)接入、全網(wǎng)服務(wù)、全網(wǎng)客戶畫像,全國統(tǒng)一套餐、全網(wǎng)營銷、統(tǒng)一客服,實(shí)時(shí)數(shù)據(jù)獲取、處理、分析,智能化主動(dòng)事件觸發(fā),智能管道,移動(dòng)互聯(lián)網(wǎng),業(yè)務(wù)運(yùn)

6、營發(fā)展趨勢(shì),對(duì)業(yè)務(wù),支撐平臺(tái)的集中化要求,對(duì),數(shù)據(jù),架構(gòu)的,集中化,要求,集中化、大容量、高擴(kuò)展、高可用數(shù)據(jù)庫平臺(tái)：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級(jí)數(shù)據(jù)中心,高,性能：,支持,3G,時(shí)代更高的實(shí)時(shí)性,要求、支持,動(dòng)態(tài)資源共享：支持多租戶管理、資源動(dòng)態(tài)按需供應(yīng),可重用、標(biāo)準(zhǔn)化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益,數(shù)據(jù)集中化趨勢(shì)使得運(yùn)營商面臨著海量數(shù)據(jù)的存儲(chǔ)及分析問題，大數(shù)據(jù)在支撐移動(dòng)業(yè)務(wù)發(fā)展趨勢(shì)中，充當(dāng)重要角色。,電信運(yùn)營商數(shù)據(jù)集中化趨勢(shì),低成本運(yùn)營一體化運(yùn)營精細(xì)化運(yùn)營全網(wǎng)運(yùn)營實(shí)時(shí)、智能化運(yùn)營集中化,7,電信,運(yùn)營,面臨的大數(shù)據(jù)挑戰(zhàn),移動(dòng)互聯(lián)

7、網(wǎng)和個(gè)人消費(fèi)領(lǐng)域,業(yè)務(wù)擴(kuò)展,和,CEM,導(dǎo)致海量數(shù)據(jù)的及時(shí)分析帶來挑戰(zhàn),運(yùn)營,商一體化集中運(yùn)營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù),倉庫,，對(duì)大數(shù)據(jù)的存儲(chǔ)、性能、開放帶來挑戰(zhàn),DPI,和信令監(jiān)測(cè)，產(chǎn)生的大量事件在存儲(chǔ)和用戶通信行為分析的實(shí)時(shí)處理性能帶來挑戰(zhàn),ICT,融合，核心網(wǎng)絡(luò)、運(yùn)營支撐和,VAS,業(yè)務(wù)數(shù)據(jù)的融合催生海量,User Profile,并集，對(duì)大數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算效能帶來挑戰(zhàn),移動(dòng)互聯(lián)網(wǎng)流量井噴與客戶行為分析,業(yè)務(wù)融合、能力互通帶來數(shù)據(jù)融合,提升客戶體驗(yàn)要求分析網(wǎng)絡(luò)服務(wù)數(shù)據(jù),IT,系統(tǒng)集中化和行業(yè)數(shù)據(jù)價(jià)值挖掘,BSS BI,數(shù)據(jù)：,河南,17,個(gè)地市，每天抽取正常用戶數(shù),7000,

8、多萬，撥備用戶數(shù),3000,多萬，,DW,層用戶表總量,1,億多條,；語音清單每天,2.7,億條數(shù)據(jù),，,GPRS,清單,每天,4.2,億條數(shù)據(jù),；賬務(wù)每天,4.7,億條數(shù)據(jù),；,GPRS,文件每個(gè),100M,左右，其它文件,25M,。,日接口數(shù)據(jù)量：,2000G,，其中話單,220G,，,WAP,清單,300G,，,工單服務(wù),200G,，,用戶、帳務(wù),300G,，其它,980G,。,每月,124TB,數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留,1,年，總數(shù)據(jù)量,1.45PB,。,按照用戶數(shù)簡單測(cè)算,6.5,億用戶下，總數(shù)據(jù)量,10PB!,聯(lián)通總部,3G,互聯(lián)網(wǎng)訪問記錄查詢及分析,系統(tǒng)：,全國,每日新增,10T

9、B,數(shù)據(jù)，,每月近萬億條,記錄，要,存放,6,個(gè)月,，約,2PB,的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫時(shí)間小于,30,分鐘，原始上網(wǎng)記錄保留,6,個(gè)月。上網(wǎng),查詢速度不高于,1,秒，并發(fā)查詢數(shù),1000,請(qǐng)求,/,秒,。,集群規(guī)模,188,個(gè)數(shù)據(jù)節(jié)點(diǎn)，存儲(chǔ)容量,2.6 PB,7電信運(yùn)營面臨的大數(shù)據(jù)挑戰(zhàn)移動(dòng)互聯(lián)網(wǎng)和個(gè)人消費(fèi)領(lǐng)域業(yè)務(wù)擴(kuò)展和,傳統(tǒng),數(shù)據(jù)倉庫無法有效存儲(chǔ)日益增長的業(yè)務(wù),數(shù)據(jù)存儲(chǔ)需求,基礎(chǔ),數(shù)據(jù),（,用戶資料，產(chǎn)品訂購信息）：,15G/,日*,365+40G*12,月,=5T,/,年,考慮,20%,的業(yè)務(wù)增長率后為,：,6T,/,年,用戶上網(wǎng)數(shù)據(jù),話單數(shù)據(jù)：,250T/,年,考慮,20%,的業(yè)務(wù)

10、增長率后為：,300T/,年,MR,數(shù)據(jù),話單數(shù)據(jù),：,634G/,日,634G/,日*,365,=227T/,年,考慮,20%,的業(yè)務(wù)增長率后為,：,272T,/,年,BSS,數(shù)據(jù),新增,新增,評(píng)估中,日使用流量,（,TB,）,6,月,10,月,隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力；數(shù)據(jù)倉庫無法線性擴(kuò)容，管理難度加大，成本高擴(kuò)容壓力大，效率下降,等,傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大,數(shù)據(jù)架構(gòu)下需要對(duì)用戶原始話單進(jìn)行長期保存,。需要擴(kuò)容大量存儲(chǔ)空間。,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,用戶層,現(xiàn)平臺(tái)的數(shù)據(jù)保存周期,大數(shù)據(jù)

11、的數(shù)據(jù)保存周期,應(yīng)用層,KR/CB/DM,層,永久保留,至少,2,年,數(shù)據(jù)存儲(chǔ)層,MK,層,永久保留,至少,2,年,DW,層,5,個(gè)月,永久保留,數(shù)據(jù)獲取層,ODS,層,37,天,永久保留,面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái),提供可供線性擴(kuò)容的存儲(chǔ)能力。,傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲(chǔ)日益增長的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)需求基礎(chǔ)數(shù)據(jù)用,每個(gè)應(yīng)用需求的變化就是一場災(zāi)難。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)可能需要對(duì)中間每個(gè)處理環(huán)節(jié)進(jìn)行逐個(gè)調(diào)整。重新生成數(shù)據(jù)的周期也非常緩慢。,由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)。整個(gè)數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲(chǔ)壓力在數(shù)據(jù)抽取和清洗階段會(huì)過濾掉與業(yè)務(wù)無關(guān)的數(shù)據(jù)記錄和字段

12、。,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,數(shù)據(jù)源,明細(xì)數(shù)據(jù)層,（,DW,）,匯總層（,MK,）,報(bào)表數(shù)據(jù),標(biāo)簽庫,指標(biāo)數(shù)據(jù),客戶統(tǒng)一視圖,應(yīng)用層,DW&MK,操作型數(shù)據(jù),ODS,層,Oracle,數(shù)據(jù)庫,精細(xì)化營銷架構(gòu),短信中心,經(jīng)分,DM,VAC,GN,話單,流媒體,客服系統(tǒng),計(jì)費(fèi)中心,MC,話單,彩信中心,MR,數(shù)據(jù),BSS,用戶互聯(lián)網(wǎng)聯(lián)系方式（總部研究院）,2,4,1,2,3,4,現(xiàn)網(wǎng)數(shù)據(jù)平臺(tái)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫架構(gòu)。大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無法保存和處理，,缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等,互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。,傳統(tǒng),

13、數(shù)據(jù),倉庫無法有效應(yīng)對(duì)大數(shù)據(jù)分析需求,1,現(xiàn)網(wǎng)每日用戶上網(wǎng),HTTP,話單達(dá),14,億條。每月匯總的記錄條數(shù)也近,30,億條。,隨著移動(dòng)互聯(lián)網(wǎng)正在迅猛增長，,傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時(shí)限和事務(wù)處理需求。,3,面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供快速的處理,能力。,每個(gè)應(yīng)用需求的變化就是一場災(zāi)難。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián),大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,傳統(tǒng),數(shù)據(jù),倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸,現(xiàn)網(wǎng)精細(xì)化營銷平臺(tái)的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承載所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算。缺乏對(duì)數(shù)據(jù)分層分級(jí)及生命周期的有效管理。,系統(tǒng)

14、,核心架構(gòu)為,Oracle,數(shù)據(jù)庫,+,小型機(jī),+,磁,陣。數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫服務(wù)器從磁陣讀到本地后進(jìn)行計(jì)算結(jié)果。隨著,數(shù)據(jù),量增長，磁盤,I/O,、,網(wǎng)絡(luò),帶寬、數(shù)據(jù)庫服務(wù)器的處理能力將存在,瓶頸，處理時(shí)延嚴(yán)重,。由于傳統(tǒng)架構(gòu)的可,擴(kuò)展性,差，無法滿足大數(shù)據(jù)的計(jì)算的擴(kuò)容需求。,為應(yīng)對(duì)海量,數(shù)據(jù)處理需求,，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行,轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由,x86,服務(wù)器提供。,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大,因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，不同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對(duì)內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行有效分析，傳統(tǒng)的架

15、構(gòu)處理吃力。,關(guān)系數(shù)據(jù)庫引入對(duì),XML,的支持仍然無法有效處理,ETL,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務(wù)數(shù)據(jù),主要關(guān)鍵技術(shù),自然語言理解，,文本分詞、語義,分析，情感分析或者大規(guī)模計(jì)算技,術(shù),非結(jié)構(gòu)化數(shù)據(jù)索引技術(shù)，,如搜索,引擎倒排索引技術(shù),多媒體處理，,包括圖像識(shí)別，語,音識(shí)別，多媒體索引等技術(shù),傳統(tǒng)數(shù)據(jù),倉庫無法有效支撐數(shù)據(jù)合作運(yùn)營,由于保存原始話單數(shù)據(jù)周期較短，合作運(yùn)營無法追溯歷史原始數(shù)據(jù)。,現(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫的設(shè)計(jì)只適用與向上層提供既定好的數(shù)據(jù)分析任務(wù)結(jié)果。對(duì)外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時(shí)數(shù)據(jù)的處理方式及

16、結(jié)果也恐難以滿足合作運(yùn)營的需要,。,大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運(yùn)營。同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來。,因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，不同于,4G,、,M2M,將大大加快移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)和流量增長,2013,年,4G,網(wǎng)絡(luò)將占到全球流量的,20%,，,2016,年將超過,3G,網(wǎng)絡(luò)流量，,2018,年將占據(jù)超過,2/3,的移動(dòng)網(wǎng)絡(luò)流量。,2013-2018,年，,4G,流量的年復(fù)合增長率達(dá)到,82.2%,。,2018,年數(shù)據(jù)業(yè)務(wù)收入占運(yùn)營商的份額的,47.3%,ABI Research 2013.09,數(shù)據(jù)來源：,Ericsson 2013.11,2012,年,9,月,Verizon LTE,網(wǎng)絡(luò)建成不到,2,年，用戶達(dá)到,11M,，占,Verizon,用戶總數(shù)約,12%,，流量消耗占全網(wǎng)流量的,35%,以上。,2013,年,1,月，,4G,流量占比,50%,，,2013,年,11,月，,4G,流量超過,64%,，視頻是主要業(yè)務(wù),2017,年，全球,4G,終端產(chǎn)生的數(shù)據(jù)流量是非,4G,終端的