FacebookTwitterLineHatena

如今,數據時代正逐步向數據時代轉變,數據演變得越來越重要,它可以反映出公司的經營情況,為公司的經營和決策提供準確的參考依據。而數據平臺是連結數據和企業的中介軟體,可以將這些數據透過一定的規格,清晰地展示給企業領導。

對於企業搭建大數據分析平臺,青島航空資料架構師戰學超強調,建立數據平臺要實現內部自下而上、自上而下的管理結合,只有獲得業務層、領導層的認可和支援才能實現數據營運的持續發展。

什麼是數據平臺?

數據平臺其實就是將公司所有的數據,包括銷售數據、財務數據、客戶數據,還有一些行業數據,進行收集整理,按照一定的主題展示。比如財務分析的主題,會囊括一些財務相關的報表,包括公司的盈利分析、虧損點分析等等。透過對這些主題的分析和展示,去準確展示公司的經營情況,以及行業動態,從而為公司的經營提供比較準確的科學指導,進而實現持久的盈利。

數據平臺會有一些原始數據,主要是銷售、財務等等及一些其他數據,還有一些行業數據,比如家電行業的商業數據。數據加工和數據展示方面,除了平常的日報、月報、年報等報表展示,還有對應的銷售趨勢分析,庫存預警以及產品個性化推薦。

如何搭建如何數據平臺?

首先這裡要與大家分享的是中小企業的數據平臺搭建之路,定位於中小企業,數據遠達不到海量,甚至企業都還未有歷史數據的積澱。在互聯網企業可能更多描述的大數據平臺,數據採擷等;而在銀行,電信等大型傳統企業更多的是數據倉庫,BI商業智慧等,這些都是與中小企業有區別的。大數據、數據採擷等對於技術人員的技術要求比較高,大型數據倉庫,專業BI軟體等往往需要大量的IT資金投入。

而中小型企業的IT技術人員和IT投入都是短板,加之數據量本身不大,故如何搭建針對中小企業的數據平臺,還需平衡好企業自身技術實力,企業數據量,企業IT投入三個主要方面。平衡好三者的關係是搭建起適合自身的數據平臺的關鍵之一。

1.定義數據來源

個人認為數據平臺搭建的一個前提是要有原始數據的積累。正所謂巧婦難為無米炊,沒有數據,數據平臺何來?所以企業一定要重視數據,並積累數據。數據的來源可能是已有企業的IT系統數據庫中數據,例如ERP系統中的數據、透過各種管道收集的競爭對手數據、手動錄入的數據等等,這些作為數據來源,需要做到統一的整理存放。

2.定義數據分析主題

數據來源有了,做飯的米有了,接下來我們要明確自己是要燒米飯還是米湯了。即我們要定義自己的分析主題,中小企業按照內部部門劃分分析主題就好,一般為人力主題,財務主題,銷售或市場主題,客戶主題等,另外需要規劃一個特別的主題,即企業駕駛艙,作為各個主題的入口,企業駕駛艙負責展示各個主題中總括的數據以及各個主題中最核心,企業領導最關心的數據等。例如FineReport決策平臺中管理儀錶板中各主題儀錶板,各個維度的數據一目了然。

3.數據處理

有了數據來源,有了數據主題,接下來就是要將數據來源中的數據,在數據主題中進行有效的處理,這包括:抽取->轉換清洗->裝載(ETL的過程)。通過ETL工具抽取來源數據,清洗掉無效數據,轉化數據主題需要的數據,然後在裝載到數據主題中,這樣就可以實現有效數據從數據來源到數據主題的轉變。

4.數據展示

經過上述三步的處理後,數據已經存儲在數據主題中,接下來就需要透過報表工具,將主題中的數據進行展示。當然有一些報表是直接查詢數據來源中的數據(需求方迫切需要的),而未經過數據集市,這也是允許的,尤其是平臺建設前期。

經過以上四步,可以基本搭建起數據平臺的雛形,此時的數據平臺更多的只是報表平臺,未包含數據預測,數據監控預警,數據採擷等深層次功能。其實在作者看來,數據平臺的第一步一定是報表平臺,匯總公司已有或是各部門需求的報表,進行統一整理,分類展示,然後在此基礎上進行一些深層次分析的數據採擷、預測分析等。

當然,上述四步並不是串列進行的,可以在定義數據來源的時候一併確定好數據分析主題,在理解抽取數邏輯的時候,並行進行ETL的開發工作等。搭建數據平臺,尤其是在數據平臺初期,一定要有一個原則,即:快速反覆運算。當然首要前提,公司要有自己的原始數據積累,並且要有數據生產系統,包括歷史數據的積累。

方法:自下而上與自上而下結合

“下”是指公司的技術團隊、業務團隊、銷售等等,以及業務部門和IT部門。“上”是指部門的領導以及公司的高層,讓IT團隊和業務團隊一起來推動這個事情,並與公司的領導層緊密地結合,上下一起參與到數據平臺的搭建,只有這樣才能實現數據平臺的持久發展。

搭建的過程,溝通很重要。

也許業務人員和IT團隊對於數據平臺的搭建有自己的想法,也想通過數據來給公司去做一些事情,但是公司的領導層可能多的依賴於自身的經驗,不一定會去相信數據平臺回饋的資訊。得不到上層領導的支持,很容易導致搭建數據平臺過程中的疲憊。

此外,上層領導可能希望去做一個數據平臺的加工,將所有的數據做一個統一的整理和展示。但是傳接到IT團隊和業務部門時,在實際應用中並不是很重視,比如IT人員做的報表,並不是業務人員想要的,導致彼此之間溝通不暢,導致數據平臺搭建緩慢。

原則:快速反覆運算

在建立數據平臺時,可以不斷定一些目標,定一些主題,做成果展示,和業務人員以及領導分享,讓其參與評價和建議,不斷優化和改善,當相關人員都有參與感時,數據平臺才會持久發展。

確定數據平臺技術架構與確定分析主題並行。
快速反覆運算,緩解業務部門手動分析壓力。
先出報表,積累業務經驗建立模型進行分析並不斷改進。
注意技術准與業務知識準備,以備滯後的大數據分析平臺和業務建模

數據平臺技術架構

接下來要介紹的是根據中小企業的特點,平衡了技術、投入、數據量三要素後總結出來的搭建數據平臺的IT技術架構。

架設全量DB是為了減輕直接讀取生產環境的數據壓力,並且統一數據類型,方便跨庫,跨數據庫和檔的查詢處理。

數據倉庫是數據平臺必不可少的,但不是優先的,數據倉庫建立耗時費力,可以逐步進行。

根據公司實際情況劃分數據集市,並且根據業務規則結合自身經驗,建立起數據分析模型。

當ETL不足以支撐或是即時要求高SQL難以實現的時候,考慮Hadoop等分散式運算。

數據平臺的搭建並不是一蹴而就的,需要循序漸進不斷快速反覆運算。同時也要有長遠眼光,儘量避免推到重構。此外一定要注意時間控制和里程碑建立。

數據平臺團隊組建

明白了數據平臺,懂得數據平臺的建立方法,又清楚數據平臺的技術架構,那麼最後的執行者即數據團隊如何組建呢?

首先數據團隊的組建方式兩種:一種是真實團隊式,即為數據平臺專案而組建的團隊,從各個IT,業務部門抽取,專人專職,這種成本比較高;另一種是虛擬團隊,即各個業務部門加IT團隊出人,時間自由支配,給定工作量與時間節點。虛擬團隊成本比較低,不影響各自的正常工作,但是對員工的積極性要求比較高,所以前面講過數據平臺要全員參與,上下一心,上面跟進督促,下面環環相扣,充分把握時間與進度,完成數據平臺的初期建設。數據平臺經過了初期建設後,一定要有專門的團隊的專業維護,這樣便於以後數據分析,挖據,預測等的工作開展,也利於快速支持業務部門的需求。

剛開始的時候,只有開發跟業務人員採用,開發説明業務人員出報表,解放業務人員的手動出報表,隨著發展,後續會逐漸進入ETL工程師,數據分析師,架構師,產品經理等角色,而是數據平臺的功能也由一開始的出報表逐漸轉換為指導業務人員管理規劃業務,慢慢成為公司或是行業的專業數據產品,進而包裝成商業產品為公司實通過數據產品盈利。這是一個循序漸進的過程,不能一下子就企圖招全各方面人才,否則會造成極大的人力浪費,大幅增加數據平臺的成本。

帆軟提供一站式大數據平臺構建方案

我們上文有提到青島航空,在數據平臺建設數據來源方面,青島航空有B2C的官網、運行控制系統、MIS系統、呼叫中心、OTA和OA平臺。數據類型涵蓋Oracle、mysql、SqlServer、 Excel、TXT等,ETL工具採用Kettle,全量DB和數據倉庫以及數據集市採用MyOracle。通過帆軟報表工具FineReport建立數據平臺,採用數據倉庫建立+報表展示+業務建模同時並行。現階段主要定了兩大集市,建立了財務對賬和收益分析兩種模型。

案例展示

使用帆軟作為統一數據決策展示平臺:

旅客分佈圖可以更清晰的幫助規劃航線:

通過對賬系統可以解決財務流水與各銷售介面的明細,快速有效的解決死賬,壞賬等問題:

利用帆軟的定時調度郵件功能監控短信平臺的發送情況:

航班配餐系統(報表)管理公司航班乘客的配餐:

參考帆軟提供的主題分析模組結合公司的具體情況,與業務同事結合,高效的規劃確定了公司的分析主題的。(FineReport10.0已升級更新)

總的來說,中小企業數據平臺搭建之路漫漫,但易起步開始,初期搭建(報表平臺)一般3月足夠,在此基礎上不斷完善,將企業的數據提煉成金,為公司帶來持久的最大化盈利,希望本篇文章能夠為正在數據平臺搭建之路上的同仁們提供幫助。
>>>

帆軟軟體作為一家專業的大數據BI和分析平臺提供商,專註商業智慧和數據分析領域,致力於提供客製化行業及簡單易用的大數據分析解決方案,40人左右行業化團隊在各行業深入研究與實踐,形成切合行業特點的解決方案,從數據的清洗整理,到指標的梳理、邏輯的搭建,一直到數據的解讀一系列完整的大數據平臺的建設方案。

帆軟軟體在專業水準、組織規模、服務範圍、企業客戶數量均遙遙領先,先後獲得包括Gartner、IDC、CCID在內的眾多專業諮詢機構的認可。在資安方面,帆軟一直將企業客戶的數據安全列為核心工作。FineReport 10.0 更是重點打造安全性,黑盒子般的追蹤技術和全方位的事故處理機制讓FineReport10.0達到了航空級安全。
帆軟資安認證

行業案例

聯絡帆軟

部分合作客戶

FineReport10.0提供最全永久免費功能版本,不用等待,直接點擊以下按鈕激活&下載!
免費下載FineReport10.0

獲得帆軟最新動態:數據分析,報表實例,專業的人都在這裡!加入FineReport臉書粉絲團

相關文章:
中小企業如何做好數據分析?

分析了10個行業,32家企業數據平台建設的成敗經驗,我們總結了這3大重點!

中小企業如何進行高效數據管理?

喜歡這篇文章嗎?歡迎分享按讚,給予我們支持和鼓勵!

熱門文章推薦

立即試用,可獲取更多 報表範本和案例

免費試用