FacebookTwitterLineHatena

有人問我,隨著大數據,人工智慧AI的到來,新的數據管理團隊應該如何組成的?比如崗位職責、配置及人員數量等等。這個問題不好回答,因為不同企業的實際情況不同,這裡給出筆者的一些思考,希望於你有益。

有企業很早就提到IT資訊要成為業務的使能者,由此可以套用到大數據上。對於大數據來講,早期的使能者是大數據平台,隨著業務的深入,大數據的支撐就要逐步過渡到軟硬兼顧,這個時候,數據管理能力就變得舉足輕重,其對上要支撐好業務,對下要承接好平台,將是未來大數據運營的發動機。

大數據時代的數據管理團隊建設對於傳統企業是比較難的,為什麼?

首先,雖然很多傳統企業都想往大數據轉型,但其數據管理團隊的職責主要還是報表取數,其數據支撐的特點是需求導向,要求準確、快速及穩定,而大數據運營則特彆強調創新和價值挖掘,在新老交替期間,如果一隻團隊要兼顧兩套使命,的確是有挑戰的。

其次,兩者的具體工作內容也有所不同,雖然在數據運維、數據質量、元數據管理等方面的工作是雷同的,但一般的報表取數團隊定位主要是數據平台的使用者,而新的數據管理團隊則不僅是使用者,更是數據中台的建設者,因為大數據對於數據、模型及平台方面的要求較以往有很大不同,很多數據管理工作需要推倒重來,數據管理團隊迎來新的建設期。

比如要進行非結構數據的採集了、要求元數據、數據質量管理平台能同步對接各類大數據技術組件了,又比如原來的數據倉庫模型支撐報表取數就可以了,現在要支撐價值變現了,這對建模提出了新的要求,也許自頂向下的關係模型方法不再適應新的要求,也許內容、位置、社群建模等將成為新的建模重點,諸如此類很多。

最後,從技能的角度講,雖然兩者有相通性,比如都包括數據分析、數據運維,數據管理等等,但內涵和範圍也有了很大不同,在建模技能、探勘技能、管理技能、平台技能要求方面已經不可同日日語,特別是諸如人工智慧等方面,當前很多企業數據管理團隊在這方面的儲備是不夠的。

大數據時代,數據管理團隊要與時俱進,新的生產力需要新的生產關係來適配。

新時期理想的數據管理團隊該如何組成呢?

這裡,筆者給出一種團隊框架,列出以下六個核心職責:

一種創新型的大數據管理組織

其實跟足球的後位,中場及前鋒配置還有點類似,後衛即數據運維,要保證數據穩定,質量可靠,這是根本,中場包括資產管理、技術研發和培訓體系三個方面,這是能力,以往企業對於這塊是不太重視的,因此數據管理往往缺乏後勁,前鋒包括內外部運營,這是產出,也是評估數據管理成效的唯一標準,特彆強調要形成閉環,當然不同的企業所處的大數據階段不同,需要靈活調整,要注意的是,這裡未將基礎平台建設納入,主要是考慮到諸如私有雲等平台建設非常重,很多企業往往單獨設置部門,因此不再列出。

數據運維

筆者在《大數據運維的思考》中有過詳細的闡述,其與傳統的數據運維有傳承也有改進,畢竟平台不同了,技術要求也不一樣,以前是在DB2,ORACLE上,現在是在hadoop、MPP及流處理之上,同時數據量與複雜度大幅提升,規範性要求其實更高,比如上線時候增加一個欄位都可能帶來巨大的潛在影響,因此,運維對於工具的依賴將進一步增大,數據運維機器換人的趨勢越加明顯,大數據時代靠事務驅動進行人肉數據保障的方式將越來越不可靠,其甚至要兼顧優化建設。

術業有專攻,大數據平台技術和數據管理技術其實是兩大分支,現在很多企業平台的管理部門與數據管理部門並不是一個團隊,比如阿里雲的建設運維部門肯定跟事業部的數據團隊是兩撥人,因此,雙方要做好溝通銜接。

一種創新型的大數據管理組織

資產管理

數據資產管理很多工作可以納入運維的職能,但筆者還是建議獨立設置職責,因為數據運維趨向於做短期的事物,而資產管理則側重長遠,側重管控及建設。

筆者這裡列出了數據,模型和標籤三類數據實體的資產管理職能,它們到底管什麼呢?

第一, 管數據體系的建設,即傳統數據倉庫數據採集、數據建模這層,你可以認為是數據架構,這個工作建議企業自己員工做,因為中台的東西是核心競爭力,牽一髮而動全身,而標籤則可以提倡百花齊放,因為其與應用相關,可以藉助更多的外力。

第二, 管數據規範的落地,一個就是制定數據管理規範,數據目錄怎麼做,標籤目錄怎麼做,如何形成閉環,都應該定義清楚,這要有專人管理,另一個就是將數據規範的東西落到系統和流程上,比如採集一個數據放到哪個目錄需要納入上線評審的環節,否則資產目錄會亂套,規範管理要事無巨細。

第三, 管理平台的建設,筆者以前在《為什麼數據管理工作很難成功?》、《六把武器? 談談DT時代的大數據資產管理》等文章中多次提到,無論是數據質量管理還是元數據管理,一定要從傳統的後向管理走到前向管理,一定要建設一個與大數據平台配套的數據管理平台,任何管理規範的落地都需要依賴於系統才能變得可靠,比如生產建表必須前台控制,不允許後台寫腳本,這樣可以確保數據字典的完整性,又比如在視覺化的開發中提供程式碼質量自動審核能力,不要太依賴開發人員的自覺性,緊急的時候什麼都可以不顧的。

一種創新型的大數據管理組織

Finereport動態報表與BI商業智慧工具 數據決策系統

技術研發

如果說前面兩個團隊的使命是穩定和規範,技術研發團隊的使命就是搞數據創新,因為企業各類前端應用中存在著大量的數據要求,比如更好的數據和模型,這些東西在一個獨立的前端項目中往往是難以短期解決的,數據管理團隊一定要能末雨綢繆,提前儲備能力,為前端應用的差異化競爭力提供支援。

技術研發一般有三個方面的工作。

一是做數據的專項研究,從企業的數據中找出新的價值點,提供給上層使用,比如運營商對於DPI上網數據的解析,對於黃頁知識庫的研究等等。

二是做演算法的應用研究,無論是傳統的機器學習,或是深度學習,或是專有演算法,都希望通過創造好的探勘模型來為企業的大數據應用提供支撐,比如運營商的未來數據應用肯定離不開精準位置、智慧推薦、自然語言處理等技術,因此需要提前儲備能力.

三是做應用的探索,數據管理團隊離數據最近,做「重數據」的任何應用都是有其天然優勢的,比如自助取數、自助報表、多維分析、標籤庫等等,數據管理團隊除了對外提供數據能力,也要能通過應用的建設直接創造價值。

培訓體系

有人會問培訓體系不是公司人力資源部的職能嗎?的確是的,這是針對企業的某個階段特意設立的,在大數據分析平台建立之初,企業很重要的一件事情就是平台的普及推廣,這個離不開培訓,但這類培訓不是通常意義上的充一下電,而是需要企業的人員能將培訓的東西直接應用於生產的,是一個體系化的工作,雖然企業的部分培訓可以依賴外部講師,但還是遠遠不夠的。

企業的數據管理團隊需要承擔起這個使命,無論是新增一個數據、模型或功能,都應該能培訓到位,企業需要打造自己的師資力量,這在筆者的《我們需要什麼樣的大數據培訓?》 、《從「千人計劃」說起,傳統企業要培養自己的大數據人才》中有詳細的闡述。

人的能力始終是第一位的,這也是筆者將培訓放在中場的原因,數據管理團隊不僅自身要硬,也要能走出去,為公司整體賦能。

對內運營

應該來講,企業的大數據運營涉及面很廣,不僅僅包括報表取數,也包括精確行銷等等,這些工作牽扯企業的方方面面,其實不是數據管理團隊能獨立承擔的,但要相信星星之火可以燎原,數據管理團隊作為企業內最接近數據的組織,要讓數據和模型發揮出價值,一定要做好與業務人員的銜接,如果聽不到一線的炮聲,沒有充分的反饋迭代,數據管理團隊絕無成功的可能,這些教訓已經很多了。

至於怎麼運營則是一門大的學問,筆者也走在路上,以後會專門撰文談談看法,但有一點是肯定的,沒有閉環的運營是不大可能成功的,而要形成閉環,則要形成一套適用於企業自身的方法,這個挑戰很大。

對外變現

大數據對內對外其實都是服務客戶,兩者相輔相成,對內的東西做好了,就可以開放出來讓價值最大化,其實大數據如果對內做不好,很難說對外就能成功,阿里在這方面就做得較好,其很多產品經過內部的檢驗後開放出來,成熟度相對會高些,這是個良性循環。

筆者也鼓勵走出去,通過對外變現不僅可以學習到行業的新東西,從而反輔主業,而且可以讓團隊經受住更嚴苛的考驗,因為外部的客戶不會給「面子」。

雖然對外變現業績可能不跟數據管理團隊直接掛鉤,但數據管理團隊的支撐能力實際決定了企業變現的底蘊,畢竟無論是搞了多少次策劃、做了怎樣炫目的產品、創新了多少種商業模式,最終客戶看重的始終是通過產品反應出來的數據能力,從這個角度講,企業的數據管理團隊一定要能配合前端主動出擊,承擔起使能者這個角色,外部客戶是否滿意是檢驗數據管理團隊合格的唯一標準。

大數據時代,新的數據管理團隊將被賦予新的使命,筆者提的數據管理團隊六個職責,也只是個邏輯的概念,不同的企業可以基於自身實際將其分配到不同的團隊或部門,甚至一個團隊可以兼多項職責,其實形式不重要,關鍵是企業是否意識到了這些方面的要求,是否做好了改變的準備。

文:傅一平
來源:與數據同行

喜歡這篇文章嗎?歡迎分享按讚,給予我們支持和鼓勵!

熱門文章推薦

立即試用,可獲取更多 報表範本和案例

免費試用