數據中台是什麼?
中型企業需要建數據中台嗎?
數據中台(也寫作資料中台、資料中臺)不是一套軟體,而是一種組織分工:負責整合全公司的資料,提供給內部各部門使用的團隊。 我們認為,比較貼切的說法是「企業內資料整合部」。 中型企業不必為此成立一個部門,一位專責的人加上 Modern Data Stack 這類工具,就能做到同樣的事。
「數據中台」這個詞從哪裡來
「中台」的來源至少有兩種說法,兩種都指向同一件事:中台是一種組織架構,不是一套軟體。
第一種說法來自金融業。我們從金融業客戶那裡聽到,中台是投資銀行 middle office 的譯名:前台面對客戶,中台負責風險管理與資訊資源,後台負責行政支援。
第二種說法來自阿里巴巴。阿里巴巴在 2015 年前後提出「大中台、小前台」,一般認為靈感來自芬蘭遊戲公司 Supercell:由一個共用的平台團隊,支援許多小型開發團隊。
後來賣雲端資料倉儲、商業智慧軟體、ETL 工具的廠商都拿這個詞來用,定義就變得各說各話。 聽到「數據中台」時,可以先問一句:指的是一個團隊,還是一套產品?
為什麼需要有人負責資料整合
沒有人專門負責資料整合,同一家公司就可能出現兩個不同的營收數字。 財務和業務各有自己的分析人員,總經理同時聽兩邊報告,發現同一段時間有兩個營收;追下去才知道,兩邊從抽資料、轉換到套用的公式全都不同。
這類整合工作常落在後端工程師或資料分析師身上,當成本業以外的兼差。他們的考核看的是本業,資料整合做得好不好,沒有人負責。 所以要指定一個人或團隊負責資料整合,並把目標寫進考核,例如:各部門報告裡的營收是同一個數字。
中型企業怎麼做
中型企業不需要一個數據中台部門,一位專責整合資料的人通常就夠。 dbt Labs 的 2024 State of Analytics Engineering 報告顯示,在 100 人以下的企業裡,負責資料基礎建設的團隊只有 0~1 人或 2~5 人的,合計超過八成。 睿博資訊的客戶也類似:約八成在導入資料平台之前,資料團隊只有一個人,也還沒有資料倉儲。
資料複雜度有限時,這一個人可以同時負責資料轉換與分析,流程的正確性交給工具來確保。
數據中台和 Modern Data Stack 差在哪
數據中台是負責資料整合的團隊,Modern Data Stack 是這個團隊用的一組工具,兩者不是二選一。
| 數據中台 | Modern Data Stack | |
|---|---|---|
| 是什麼 | 組織分工:負責資料整合的團隊 | 一組可以程式化的工具:資料抽取、資料倉儲、資料轉換、報表 |
| 回答的問題 | 誰負責讓全公司的數字一致 | 用什麼方法讓數字一致、可以追溯 |
| 中型企業的做法 | 一位專責的人 | 例如 ClickHouse、dbt、Metabase |
延伸閱讀
- 資料治理是什麼?中型企業要從哪裡開始?(規則與怎麼檢查)
- 存貨成本先進先出法(FIFO),可以用 SQL 在資料倉儲算嗎?(技術做法,給 IT 同事)
- 資料平台要放地端、雲端,還是雲地混合?成本差在哪?(部署選擇,給 IT 同事)
- 〈數據中台 (Data Middle Office)〉(睿博洞察)
- 〈分析工程師〉(睿博洞察)
- 《從試算表到資料平台:重構資料工程的技術與團隊》第二、十四章
想討論貴公司的資料整合該由誰負責、從哪裡開始,歡迎直接來信。
來信談談你的資料問題