詳解阿里云數(shù)據(jù)中臺(tái)，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”

導(dǎo)讀：本文從數(shù)據(jù)處理技術(shù)DT從業(yè)者的角度出發(fā)，系統(tǒng)介紹了阿里云的數(shù)據(jù)中臺(tái)概念和操作思路，也是阿里內(nèi)部對(duì)近期關(guān)于數(shù)據(jù)中臺(tái)的負(fù)面評(píng)價(jià)的回應(yīng)。

圖片來(lái)自“Unsplash”

本文來(lái)自于云棲社區(qū)，作者譚虎、陳曉勇。

原文鏈接:https://mp.weixin.qq.com/s/YEkdIp4C2jOu6TVMafhi0A

一直想寫(xiě)一篇關(guān)于數(shù)據(jù)中臺(tái)正面文章，現(xiàn)在有閑時(shí)做些總結(jié)，想充分詮釋一下DT內(nèi)部人如何看待數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)的概念是最早由阿里巴巴首次提出，是為了應(yīng)對(duì)內(nèi)部眾多業(yè)務(wù)部門(mén)千變?nèi)f化的數(shù)據(jù)需求和高速時(shí)效性的要求而成長(zhǎng)起來(lái)的，它既要滿(mǎn)足業(yè)務(wù)部門(mén)日常性的多個(gè)業(yè)務(wù)前臺(tái)的數(shù)據(jù)需求，又要滿(mǎn)足像雙十一，六一八這樣的業(yè)務(wù)高峰、應(yīng)對(duì)大規(guī)模數(shù)據(jù)的線(xiàn)性可擴(kuò)展問(wèn)題、應(yīng)對(duì)復(fù)雜活動(dòng)場(chǎng)景業(yè)務(wù)系統(tǒng)的解耦問(wèn)題，而在技術(shù)、組織架構(gòu)等方面采取的一些變革。

數(shù)據(jù)中臺(tái)的定義

阿里巴巴數(shù)據(jù)中臺(tái)是阿里云上實(shí)現(xiàn)數(shù)據(jù)智能的最佳實(shí)踐，它是由數(shù)據(jù)中臺(tái)方法論+組織+工具所組成，數(shù)據(jù)中臺(tái)方法論采用實(shí)現(xiàn)企業(yè)數(shù)據(jù)的全局規(guī)劃設(shè)計(jì)，通過(guò)前期的設(shè)計(jì)形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、計(jì)算口徑，統(tǒng)一保障數(shù)據(jù)質(zhì)量，面向數(shù)據(jù)分析場(chǎng)景構(gòu)建數(shù)據(jù)模型，讓通用計(jì)算和數(shù)據(jù)能沉淀并能復(fù)用，提升計(jì)算效能;數(shù)據(jù)中臺(tái)的建設(shè)實(shí)施必須有能與之配合的組織，不僅僅相應(yīng)崗位的人員要配備齊全，而且組織架構(gòu)建設(shè)也需要對(duì)應(yīng)，有一個(gè)數(shù)據(jù)技術(shù)部門(mén)統(tǒng)籌企業(yè)的數(shù)字化轉(zhuǎn)型，數(shù)據(jù)賦能業(yè)務(wù)中形成業(yè)務(wù)模式，在推進(jìn)數(shù)字化轉(zhuǎn)型中實(shí)現(xiàn)價(jià)值;數(shù)據(jù)中臺(tái)由一系列的工具和產(chǎn)品組成，阿里云數(shù)據(jù)中臺(tái)以智能數(shù)據(jù)構(gòu)建與管理Dataphin產(chǎn)品、商業(yè)智能QuickBI工具和企業(yè)參謀產(chǎn)品為主體等一系列工具組成。

阿里云在過(guò)去幾年中經(jīng)過(guò)數(shù)十個(gè)實(shí)際項(xiàng)目沉淀形成實(shí)施標(biāo)準(zhǔn)化流程和方法論。阿里云OneData數(shù)據(jù)中臺(tái)解決方案基于大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)為載體，以O(shè)neModel統(tǒng)一數(shù)據(jù)構(gòu)建及管理方法論為主干，OneID核心商業(yè)要素資產(chǎn)化為核心，實(shí)現(xiàn)全域鏈接、標(biāo)簽萃取、立體畫(huà)像，以數(shù)據(jù)資產(chǎn)管理為皮，數(shù)據(jù)應(yīng)用服務(wù)為枝葉的松耦性整體解決方案。其數(shù)據(jù)服務(wù)理念根植于心，強(qiáng)調(diào)業(yè)務(wù)模式，在推進(jìn)數(shù)字化轉(zhuǎn)型中實(shí)現(xiàn)價(jià)值。

數(shù)據(jù)中臺(tái)的概念來(lái)自于阿里巴巴“大中臺(tái)，小前臺(tái)”業(yè)務(wù)戰(zhàn)略下的數(shù)據(jù)化實(shí)踐，它是關(guān)于“數(shù)據(jù)價(jià)值化和數(shù)據(jù)資產(chǎn)化”的一整套解決方案，內(nèi)容包括數(shù)據(jù)中臺(tái)方法論，組織，數(shù)據(jù)產(chǎn)品三個(gè)方面。

數(shù)據(jù)中臺(tái)建設(shè)成果主要體現(xiàn)在兩方面：一個(gè)是數(shù)據(jù)的技術(shù)能力，另一個(gè)是數(shù)據(jù)的資產(chǎn)。今天阿里的各個(gè)業(yè)務(wù)都在共享同一套數(shù)據(jù)技術(shù)和資產(chǎn)。阿里內(nèi)部為這個(gè)統(tǒng)一化的數(shù)據(jù)體系命名為“OneData”。Onedata體系包括OneModel，OneID，OneService3個(gè)方面，在OneData體系之下，不斷擴(kuò)大的業(yè)務(wù)版圖內(nèi)的各種業(yè)務(wù)數(shù)據(jù)，都將按統(tǒng)一的方式接入中臺(tái)系統(tǒng)，之后通過(guò)統(tǒng)一化的數(shù)據(jù)服務(wù)反哺業(yè)務(wù)。

如下圖所示：

數(shù)據(jù)中臺(tái)頂層設(shè)計(jì)

數(shù)據(jù)中臺(tái)定位于計(jì)算后臺(tái)和業(yè)務(wù)前臺(tái)之間，其關(guān)鍵職能與核心價(jià)值是大數(shù)據(jù)以業(yè)務(wù)視角而非純技術(shù)視角出發(fā)，智能化構(gòu)建數(shù)據(jù)、管理數(shù)據(jù)資產(chǎn)與提供數(shù)據(jù)調(diào)用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析與數(shù)據(jù)展現(xiàn)等多種服務(wù)。承技術(shù)啟業(yè)務(wù)，是建設(shè)智能數(shù)據(jù)和催生數(shù)據(jù)智能的引擎;而以數(shù)據(jù)中臺(tái)內(nèi)核價(jià)值為中段的數(shù)據(jù)中臺(tái)業(yè)務(wù)模式不是純數(shù)據(jù)、不是純技術(shù)、也不是純業(yè)務(wù)，它同時(shí)關(guān)注著與大數(shù)據(jù)能力相關(guān)的上下游，以大數(shù)據(jù)為中軸線(xiàn)，基于技術(shù)而又深入業(yè)務(wù)，它以數(shù)據(jù)產(chǎn)品+數(shù)據(jù)技術(shù)+方法論+場(chǎng)景實(shí)現(xiàn)的綜合性輸出，同時(shí)為智能化數(shù)據(jù)、技術(shù)極致提升和數(shù)據(jù)智能化業(yè)務(wù)負(fù)責(zé)。

一方面專(zhuān)注于從業(yè)務(wù)視角，建設(shè)標(biāo)準(zhǔn)統(tǒng)一、融會(huì)貫通、資產(chǎn)化、服務(wù)化、閉環(huán)自?xún)?yōu)化的數(shù)據(jù)中臺(tái)智能數(shù)據(jù)體系，同時(shí)極致化追求技術(shù)上的降本提效。另一方面，致力于智能數(shù)據(jù)與業(yè)務(wù)場(chǎng)景深度融合的業(yè)務(wù)數(shù)據(jù)化與數(shù)據(jù)業(yè)務(wù)化中的各類(lèi)智能化價(jià)值創(chuàng)新。

數(shù)據(jù)中臺(tái)與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)差異

數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)經(jīng)歷了40多年的發(fā)展，廣泛應(yīng)用于大型商業(yè)企業(yè)，幫助業(yè)務(wù)人員和高層人員做分析和決策，它起源于決策支持系統(tǒng)(decision support system)，其展現(xiàn)形式更多以報(bào)表方式實(shí)現(xiàn)。因此數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失性的，隨時(shí)間變化的用來(lái)支持管理人員決策的數(shù)據(jù)集合。

傳統(tǒng)的企業(yè)級(jí)數(shù)倉(cāng)還是以TD，Oracle，IBM/DB2等傳統(tǒng)數(shù)據(jù)庫(kù)為主, 由于受限于數(shù)據(jù)的處理能力，很少有EDW的數(shù)據(jù)容量超過(guò)1TB，因此不能對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行跨域的處理(原因是RMDBS對(duì)大數(shù)據(jù)量的關(guān)聯(lián)join處理耗時(shí)非常長(zhǎng))，因此要對(duì)新的指標(biāo)分析的時(shí)候需要從基礎(chǔ)數(shù)據(jù)重新生成匯總表，耗時(shí)耗力，使用方法上無(wú)法實(shí)現(xiàn)跨數(shù)據(jù)集或數(shù)據(jù)域的處理。新一代的數(shù)據(jù)倉(cāng)庫(kù)采用分布式架構(gòu)，一般基于MPP數(shù)據(jù)庫(kù)或大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)分析，因此傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)具有以下幾個(gè)特點(diǎn)：

業(yè)務(wù)主題性：傳統(tǒng)的數(shù)倉(cāng)要求解決服務(wù)問(wèn)題，比如對(duì)一個(gè)生產(chǎn)型企業(yè)來(lái)說(shuō)公司的主題域是產(chǎn)品、訂單、銷(xiāo)售商、材料等，要解決應(yīng)用問(wèn)題可能是庫(kù)存、銷(xiāo)售、銷(xiāo)售商等。其有業(yè)務(wù)是面向主題的。

系統(tǒng)集成性：在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中，集成是最重要的，由于計(jì)算和存儲(chǔ)的成本原因，其數(shù)據(jù)需要從不同的數(shù)據(jù)源抽取過(guò)來(lái)并集中，其數(shù)據(jù)的冗余度需要盡可能的降低，因此數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中需要進(jìn)行轉(zhuǎn)化、格式化、重新排列和匯總等操作，其所有數(shù)據(jù)具有單一物理特性，都是結(jié)構(gòu)化方式存在。在系統(tǒng)架構(gòu)方面，也是以集中式存儲(chǔ)和計(jì)算方式存在，新一代的數(shù)倉(cāng)采用分布式計(jì)算，但軟件產(chǎn)品采用集中部署方式存在。

非易失性：數(shù)倉(cāng)系統(tǒng)會(huì)記錄所有記錄，與業(yè)務(wù)系統(tǒng)相比，它不會(huì)對(duì)記錄進(jìn)行變化操作(update和delete)，它會(huì)保留所有記錄的變化，但受限于成本和計(jì)算能力考慮，數(shù)倉(cāng)不會(huì)記錄全量明細(xì)數(shù)據(jù)，特別是日志數(shù)據(jù)，因此大部分?jǐn)?shù)倉(cāng)平臺(tái)的數(shù)據(jù)容量在TB級(jí)別。

時(shí)間變化性：數(shù)據(jù)倉(cāng)庫(kù)中每個(gè)數(shù)據(jù)單元只是在某一時(shí)間是準(zhǔn)確的，因此數(shù)據(jù)單元的準(zhǔn)確性與時(shí)間相關(guān)，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)時(shí)間范圍5-10年。

系統(tǒng)一體化: 傳統(tǒng)數(shù)倉(cāng)以系統(tǒng)整體設(shè)計(jì)為特性，軟件平臺(tái)圍繞著數(shù)據(jù)庫(kù)或計(jì)算平臺(tái)以整套服務(wù)為主，結(jié)合度縝密，對(duì)外服務(wù)也較單一。傳統(tǒng)的數(shù)倉(cāng)采用集

中式數(shù)據(jù)庫(kù)作為數(shù)據(jù)和計(jì)算平臺(tái)，近10年來(lái)，新興企業(yè)采用分布式數(shù)據(jù)庫(kù)和大數(shù)據(jù)技術(shù)實(shí)現(xiàn)OLAP類(lèi)數(shù)倉(cāng)建設(shè)，但其本質(zhì)還是基于一個(gè)整體來(lái)考慮的。

在系統(tǒng)和服務(wù)上數(shù)據(jù)中臺(tái)與傳數(shù)倉(cāng)有很多明顯的區(qū)別，首先表現(xiàn)在服務(wù)對(duì)象方面，傳統(tǒng)的數(shù)倉(cāng)只是滿(mǎn)足領(lǐng)導(dǎo)數(shù)據(jù)決策的需要，因此更多的體現(xiàn)在報(bào)表輸出，使用者以小部分的業(yè)務(wù)人員和決策層為主，新需求的開(kāi)發(fā)周期以月甚至到年為計(jì)。而數(shù)據(jù)中臺(tái)由于起家于互聯(lián)網(wǎng)企業(yè)，其使用對(duì)象擴(kuò)大到一線(xiàn)服務(wù)人員和商家企業(yè)，其業(yè)務(wù)需求更繁雜，很難用一套報(bào)表系統(tǒng)滿(mǎn)足需求，因此催生出一個(gè)生態(tài)的數(shù)據(jù)服務(wù)。

其次是體系架構(gòu)上，數(shù)據(jù)中臺(tái)是由多系統(tǒng)組成，除了計(jì)算平臺(tái)外，其方案由多個(gè)分布式服務(wù)系統(tǒng)提供，滿(mǎn)足不同業(yè)務(wù)需求和高并發(fā)和系統(tǒng)自動(dòng)擴(kuò)容需求，除了大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)外，還包含數(shù)倉(cāng)建設(shè)、工作臺(tái)開(kāi)發(fā)IDE、任務(wù)調(diào)度、數(shù)據(jù)同步服務(wù)、對(duì)外統(tǒng)一數(shù)據(jù)服務(wù)、資產(chǎn)管理系統(tǒng)、實(shí)時(shí)流計(jì)算平臺(tái)和開(kāi)發(fā)平臺(tái)、oneID計(jì)算和查詢(xún)模塊，敏捷BI報(bào)表開(kāi)發(fā)等多個(gè)組件，通過(guò)多個(gè)維度組件組成一整套方案。

再則，在服務(wù)表現(xiàn)形式上數(shù)據(jù)中臺(tái)體現(xiàn)的更多樣化，數(shù)據(jù)中臺(tái)不僅能提供報(bào)表基礎(chǔ)服務(wù)功能，而且為了滿(mǎn)足各個(gè)業(yè)務(wù)部門(mén)不同需求，會(huì)提供領(lǐng)導(dǎo)決策系統(tǒng)、行業(yè)分析、業(yè)務(wù)洞察、業(yè)務(wù)重塑，自助查詢(xún)等多個(gè)功能，滿(mǎn)足從領(lǐng)導(dǎo)層、PD、業(yè)務(wù)人員、開(kāi)發(fā)人員等各個(gè)層級(jí)的需求。

在繼承性方面，數(shù)據(jù)中臺(tái)采用傳統(tǒng)的數(shù)倉(cāng)Kimball維度建模法，按照事實(shí)表，維表來(lái)構(gòu)建數(shù)據(jù)中臺(tái)的數(shù)據(jù)模型。

數(shù)據(jù)中臺(tái)與數(shù)據(jù)湖區(qū)別

業(yè)界近3年對(duì)datalake說(shuō)的比較多，是結(jié)合近10年來(lái)大數(shù)據(jù)理念興起的，首次由Dan Woods在2011年7月福布斯上的“Big Data Requires a Big, New Architecture”中提出，它提出CIO們應(yīng)該考慮數(shù)據(jù)湖(“Data lake”)這個(gè)思維方式來(lái)替代數(shù)據(jù)倉(cāng)庫(kù)(“data warehouse”)的思維，它的架構(gòu)和理念是把原先不存儲(chǔ)的基礎(chǔ)數(shù)據(jù)也存儲(chǔ)起來(lái)，匯總各個(gè)數(shù)據(jù)源的數(shù)據(jù)方便以后的數(shù)據(jù)分析和查詢(xún)，因此數(shù)據(jù)湖是數(shù)據(jù)的聚集、加工為目的數(shù)據(jù)資源池，但是數(shù)據(jù)湖只是解決了聚集問(wèn)題，在數(shù)據(jù)加工方面由于不可控制的需求變得異常繁重，由于數(shù)據(jù)的繁雜和混亂引入數(shù)據(jù)治理讓數(shù)據(jù)的加工更是舉步維艱。

傳統(tǒng)上數(shù)據(jù)湖中的數(shù)據(jù)會(huì)存儲(chǔ)原始數(shù)據(jù)，量大并且非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)較多，需要有一個(gè)低成本分布式存儲(chǔ)和計(jì)算架構(gòu)來(lái)承載這些數(shù)據(jù)，屬于ODS層，缺乏數(shù)據(jù)主題和加工能力，因此近期對(duì)數(shù)據(jù)湖上的數(shù)據(jù)治理項(xiàng)目和應(yīng)用越來(lái)越多。

數(shù)據(jù)湖匯集了原始ODS數(shù)據(jù)，解決了傳統(tǒng)數(shù)倉(cāng)基礎(chǔ)數(shù)據(jù)缺乏的問(wèn)題，作為企業(yè)數(shù)倉(cāng)平臺(tái)的補(bǔ)充，有其重要的意義，但數(shù)據(jù)湖的作用在于匯集企業(yè)的各個(gè)數(shù)據(jù)源，有一個(gè)存放和分析之地，在規(guī)劃中沒(méi)有一個(gè)整體的數(shù)據(jù)資產(chǎn)規(guī)劃和管理職能，這會(huì)導(dǎo)致其功能薄弱性，不能承擔(dān)整體的數(shù)據(jù)處理和管理之重，實(shí)際在一些大型企業(yè)，使用數(shù)據(jù)湖其數(shù)據(jù)陷阱就會(huì)馬上出現(xiàn)，業(yè)務(wù)人員的需求需要DBA或IT人員經(jīng)過(guò)繁雜的處理步驟才能實(shí)現(xiàn)達(dá)到業(yè)務(wù)人員的數(shù)據(jù)分析目的，其會(huì)耗費(fèi)開(kāi)發(fā)人員的時(shí)間耗以周計(jì)，原因之一是數(shù)據(jù)湖沒(méi)有一個(gè)數(shù)據(jù)構(gòu)建和管理平臺(tái)去管理和計(jì)算這些數(shù)據(jù)，因此不講治理的雜亂無(wú)章的數(shù)據(jù)看似能提升數(shù)據(jù)獲取，數(shù)據(jù)分析的效率，實(shí)際上并不能承擔(dān)企業(yè)智能化的使命。

企業(yè)數(shù)據(jù)智能需要解決企業(yè)數(shù)據(jù)智能所面臨的諸多問(wèn)題，企業(yè)數(shù)據(jù)智能需要解決數(shù)據(jù)的快速計(jì)算和結(jié)果產(chǎn)出;需要對(duì)企業(yè)數(shù)據(jù)資產(chǎn)有整體規(guī)劃和掌控;需要有一個(gè)好的方法論處理業(yè)務(wù)邏輯繁雜的統(tǒng)計(jì);需要有一個(gè)好的構(gòu)建和管理平臺(tái)面向業(yè)務(wù)使用方和開(kāi)發(fā)使用方...這些都是數(shù)據(jù)湖所不能解決的問(wèn)題。

數(shù)據(jù)中臺(tái)是由阿里巴巴在2015年在內(nèi)部技術(shù)演進(jìn)和組織優(yōu)化中提出中臺(tái)戰(zhàn)略中提到的，數(shù)據(jù)湖本身的缺陷正是數(shù)據(jù)中臺(tái)強(qiáng)項(xiàng)，二者可以起到方案補(bǔ)充的作用，在現(xiàn)有技術(shù)框架中數(shù)據(jù)中臺(tái)可以基于Hadoop數(shù)據(jù)湖平臺(tái)作為數(shù)據(jù)存儲(chǔ)和計(jì)算載體，實(shí)現(xiàn)數(shù)據(jù)的加工和處理，數(shù)據(jù)中臺(tái)更多實(shí)現(xiàn)數(shù)據(jù)的管理，強(qiáng)調(diào)利用數(shù)據(jù)的能力，強(qiáng)調(diào)數(shù)據(jù)開(kāi)發(fā)和高效的使用，數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理可以對(duì)數(shù)據(jù)湖中的數(shù)據(jù)按照數(shù)據(jù)域方式進(jìn)行管理并結(jié)合業(yè)務(wù)的邏輯實(shí)現(xiàn)整個(gè)數(shù)據(jù)模型的加工和開(kāi)發(fā)。

數(shù)據(jù)中臺(tái)與數(shù)據(jù)域相比，數(shù)據(jù)中臺(tái)強(qiáng)調(diào)方法論，組織和工具的建設(shè)。非常強(qiáng)調(diào)數(shù)據(jù)賦能業(yè)務(wù)，衍生出很多的數(shù)據(jù)業(yè)務(wù)產(chǎn)品。比如在阿里面向商家的生意參謀，面向人物屬性的標(biāo)簽服務(wù)、面向行業(yè)小二的行業(yè)洞察…這些都極大的擴(kuò)展了數(shù)據(jù)價(jià)值，其次數(shù)據(jù)中臺(tái)按分析的原子指標(biāo)和派生指標(biāo)方式做計(jì)算并存儲(chǔ)在Maxcompute平臺(tái)上，如有及時(shí)查詢(xún)要求會(huì)同步分析結(jié)果數(shù)據(jù)給MPP或其他DB。這塊在數(shù)據(jù)頂層設(shè)計(jì)，全域資產(chǎn)、統(tǒng)一技術(shù)、產(chǎn)品業(yè)務(wù)上與Datalke及EDW是不同的。

現(xiàn)有大數(shù)據(jù)平臺(tái)廠(chǎng)商和云服務(wù)廠(chǎng)商推崇數(shù)據(jù)湖有其商業(yè)目的，AWS認(rèn)為“云數(shù)據(jù)湖代表未來(lái)，能從數(shù)據(jù)中挖掘出更多價(jià)值”。AWS對(duì)數(shù)據(jù)湖的理解是基于同一存儲(chǔ)、對(duì)接各類(lèi)引擎進(jìn)行分析查詢(xún)工作，因此推崇Amazon S3來(lái)構(gòu)建數(shù)據(jù)湖;微軟推崇“Azure Data lake”基于HDinsight(原先Hortonworks公司產(chǎn)品，現(xiàn)是Cloudera產(chǎn)品)上層使用hive，spark，U-SQL計(jì)算引擎實(shí)現(xiàn)計(jì)算和查詢(xún);華為推薦DAYU數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)，強(qiáng)調(diào)統(tǒng)一管理和功能的豐富性。這些解決方案非常強(qiáng)調(diào)存儲(chǔ)服務(wù)和想配套的硬件銷(xiāo)售。

最后說(shuō)到底都是企業(yè)提供數(shù)據(jù)計(jì)算、存儲(chǔ)和應(yīng)用的平臺(tái)，最終各種平臺(tái)的目的都是要更好地服務(wù)于業(yè)務(wù)。

數(shù)據(jù)中臺(tái)所面臨的挑戰(zhàn)

隨著數(shù)據(jù)中臺(tái)理念的普及，各行各業(yè)逐步接受了這個(gè)概念，很多廠(chǎng)商通過(guò)招投標(biāo)采購(gòu)、自身投入等各種方式建設(shè)了數(shù)據(jù)中臺(tái)，但在建設(shè)和具體運(yùn)營(yíng)中發(fā)現(xiàn)了很多問(wèn)題，諸如數(shù)據(jù)運(yùn)營(yíng)是否能產(chǎn)生效益，對(duì)業(yè)務(wù)是否有推動(dòng)價(jià)值，取數(shù)是否快速敏捷等問(wèn)題…

數(shù)據(jù)中臺(tái)建設(shè)是一個(gè)循序漸進(jìn)的建設(shè)過(guò)程，數(shù)據(jù)積累和分析維度都有一個(gè)數(shù)據(jù)和知識(shí)積累，認(rèn)知的過(guò)程，和業(yè)務(wù)系統(tǒng)的“交鑰匙”工程有本質(zhì)不同，營(yíng)銷(xiāo)，市場(chǎng)和供應(yīng)鏈的數(shù)據(jù)是在不斷變化中，營(yíng)銷(xiāo)活動(dòng)，產(chǎn)品也在不斷發(fā)展和更新中，因此，數(shù)據(jù)中臺(tái)建設(shè)是一個(gè)不停迭代和發(fā)展的過(guò)程，需要持續(xù)投入是數(shù)據(jù)中臺(tái)運(yùn)營(yíng)部門(mén)所面臨的最大的挑戰(zhàn)。

業(yè)務(wù)數(shù)據(jù)的分析需求會(huì)有很大變化，回顧互聯(lián)網(wǎng)或傳統(tǒng)產(chǎn)業(yè)的發(fā)展歷程，在2007年iPhone智能手機(jī)以一個(gè)全新的形式推向市場(chǎng)前，傳統(tǒng)的數(shù)據(jù)分析需求還是停留在PC或線(xiàn)下數(shù)據(jù)的分析，而今天，幾乎所有的分析維度幾乎都是來(lái)自線(xiàn)上終端(手機(jī))需求或由線(xiàn)上數(shù)據(jù)來(lái)推動(dòng)線(xiàn)下運(yùn)營(yíng)的需求。而今天隨著5G和AI技術(shù)的發(fā)展，越來(lái)越多的IOT設(shè)備產(chǎn)生的數(shù)據(jù)開(kāi)始支撐著數(shù)據(jù)分析場(chǎng)景，比如商場(chǎng)、飯店已經(jīng)開(kāi)始使用攝像頭等傳感器來(lái)收集游客對(duì)商品或服務(wù)的喜好，這些都觸動(dòng)對(duì)數(shù)據(jù)中臺(tái)的分析需求，這2個(gè)小小例子說(shuō)明數(shù)據(jù)中臺(tái)的分析需求是在不斷變化中，因此數(shù)據(jù)中臺(tái)建設(shè)也需要持續(xù)迭代和發(fā)展，而不是自我運(yùn)行的，這需要開(kāi)發(fā)人員在不斷迭代中找到事物發(fā)展的規(guī)律，總結(jié)形成數(shù)據(jù)服務(wù)應(yīng)用，滿(mǎn)足普遍化的業(yè)務(wù)需求。在GPS傳感器集成到手機(jī)中前，人們無(wú)法獲知運(yùn)動(dòng)中的人位置，通過(guò)定位傳感器衍生出位置服務(wù)，比如大眾點(diǎn)評(píng)中的餐飲家政等生活圈的服務(wù)，這些數(shù)據(jù)會(huì)催生出人新的位置標(biāo)簽，生活圈等指標(biāo)數(shù)據(jù)，這些對(duì)業(yè)務(wù)運(yùn)營(yíng)有非常大的幫助，因?yàn)橛辛诉@個(gè)信息，你不會(huì)再給一個(gè)偶爾因?yàn)椴盥萌ド碳蚁M(fèi)的顧客再發(fā)送促銷(xiāo)信息，也不會(huì)給偶爾消費(fèi)的人有促銷(xiāo)廣告，這會(huì)幫助你的營(yíng)銷(xiāo)更有針對(duì)性，更精準(zhǔn)。

傳統(tǒng)企業(yè)在數(shù)倉(cāng)建設(shè)都有一個(gè)分析平臺(tái)，固化了很多分析指標(biāo)，這些分析指標(biāo)每天發(fā)生一些變化，為決策層提供了決策支撐，但指標(biāo)的更替和變化確以月和年計(jì)，這導(dǎo)致對(duì)新業(yè)務(wù)和事物的業(yè)務(wù)反饋不夠及時(shí)，因此面對(duì)這一挑戰(zhàn)需要有一個(gè)靈活的數(shù)據(jù)中臺(tái)加工機(jī)制來(lái)滿(mǎn)足這些需求。這首先需要有一個(gè)組織來(lái)支撐這個(gè)運(yùn)營(yíng)目標(biāo)，使得運(yùn)營(yíng)和開(kāi)發(fā)團(tuán)隊(duì)為這個(gè)目標(biāo)達(dá)成這個(gè)目標(biāo)，在阿里巴巴內(nèi)部數(shù)據(jù)技術(shù)及產(chǎn)品部門(mén)就是這個(gè)組織的典型代表，通過(guò)組織機(jī)制來(lái)推動(dòng)運(yùn)營(yíng)，滿(mǎn)足業(yè)務(wù)部門(mén)不間斷的數(shù)據(jù)需求，同時(shí)基于需求開(kāi)創(chuàng)了一套方法論并開(kāi)發(fā)了一系列的工具幫助業(yè)務(wù)部門(mén)達(dá)成這一業(yè)務(wù)目標(biāo)。這需要數(shù)據(jù)中臺(tái)的開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)一套方便，便捷的自助取數(shù)工具來(lái)滿(mǎn)足業(yè)務(wù)部門(mén)的需求。

誠(chéng)然，在數(shù)據(jù)建設(shè)中還會(huì)碰到一些其他潛在問(wèn)題，諸如需求不明確，分析場(chǎng)景設(shè)計(jì)不合理，數(shù)據(jù)指標(biāo)和分析思路不夠能解決用戶(hù)痛點(diǎn)等情況，但這些都可以通過(guò)增加投入，特別是加強(qiáng)咨詢(xún)和調(diào)研的力度來(lái)解決這些問(wèn)題。

尾聲

數(shù)據(jù)中臺(tái)是很多傳統(tǒng)企業(yè)做數(shù)字化轉(zhuǎn)型的重點(diǎn)投入，這需要從戰(zhàn)略、方法論、工具、執(zhí)行和組織層面做系統(tǒng)規(guī)劃、有序執(zhí)行，阿里過(guò)去多年經(jīng)歷了內(nèi)部多年的建設(shè)沉淀出多個(gè)工具和數(shù)據(jù)產(chǎn)品，經(jīng)過(guò)央視網(wǎng)、海底撈、飛鶴、聯(lián)華商超、南航等多個(gè)傳統(tǒng)行業(yè)落地項(xiàng)目的淬煉得出實(shí)施的方法論，這些轉(zhuǎn)型先鋒為中國(guó)企業(yè)的數(shù)字化轉(zhuǎn)型具有借鑒意義。

阿里巴巴數(shù)據(jù)中臺(tái)團(tuán)隊(duì)，致力于輸出阿里云數(shù)據(jù)智能的最佳實(shí)踐，助力每個(gè)企業(yè)建設(shè)自己的數(shù)據(jù)中臺(tái)，進(jìn)而共同實(shí)現(xiàn)新時(shí)代下的智能商業(yè)!

阿里巴巴數(shù)據(jù)中臺(tái)解決方案，核心產(chǎn)品：

Dataphin，以阿里巴巴大數(shù)據(jù)核心方法論OneData為內(nèi)核驅(qū)動(dòng)，提供一站式數(shù)據(jù)構(gòu)建與管理能力;

Quick BI，集阿里巴巴數(shù)據(jù)分析經(jīng)驗(yàn)沉淀，提供一站式數(shù)據(jù)分析與展現(xiàn)能力;

Quick Audience，集阿里巴巴消費(fèi)者洞察及營(yíng)銷(xiāo)經(jīng)驗(yàn)，提供一站式人群圈選、洞察及營(yíng)銷(xiāo)投放能力，連接阿里巴巴商業(yè)，實(shí)現(xiàn)用戶(hù)增長(zhǎng)。