資料治理是什麼?
中型企業要從哪裡開始?
資料治理是讓全公司的資料可以被信任的一套作法。 我們的看法是:治理是回饋迴路的補集。能用自動檢查及早發現問題的地方,就不必靠規定;規定只該留在迴路失效的地方:太慢、太貴,或第一次就不能發生。
什麼是外部性:從工廠排放汙水說起
外部性是指一方的決定,把成本轉嫁給沒有參與決定的另一方。 上游的工廠把汙水直接排進河裡,省下處理費;下游的漁民和居民,承擔河川被汙染的代價。 工廠不用付這筆成本,就沒有動機少排,所以需要政府介入:訂排放標準、稽查、開罰。這就是治理。
企業內部也有外部性
企業內部的系統和部門之間,也會互相轉嫁成本。 業務系統的工程師改了一個欄位名稱,省了自己的事;隔天下游的月報算錯,資料團隊花一整天追查原因。 改欄位的人不承擔這個成本,所以不會先通知下游。
外部性是治理需求的第一個來源。另外兩個是協調,例如全公司要對「營收」用同一個定義;以及先驗禁止,例如客戶個資外洩,第一次就不能發生。
治理的兩種作法:規定,或回饋迴路
治理可以靠規定的強制力,也可以靠回饋迴路。 以汙水為例,規定是排放標準與稽查,執行起來要人力、成本高;回饋迴路則像在排放口裝即時監測,一超標就自動通報。 能建出回饋迴路的地方就不需要額外的規定,規定只留給迴路來不及、太貴,或不能等第一次發生的情況。
Modern Data Stack 把軟體工程的作法帶進資料工作,偏向用回饋迴路來治理,比全部靠人制定規範更有彈性:
| 治理需求的來源 | 資料上的例子 | 回饋迴路 | 仍需要規定的部分 |
|---|---|---|---|
| 外部性 | 上游系統改了欄位,下游報表壞掉 | 資料一進來就用 dbt test 檢查,失敗時自動通知 | 無 |
| 協調 | 各部門的營收定義不同,出現兩個營收數字 | 定義寫成 SQL 放在資料建模層,所有報表共用;修改前先看對下游的影響 | 由誰決定定義 |
| 先驗禁止 | 機敏資料外洩 | 迴路來不及 | 權限與屏蔽政策,交給資料倉儲內建的屏蔽機制執行 |
中型企業從哪裡開始
中型企業不必先成立治理委員會,可以從三件能檢查的事開始:每個指標只有一個定義、資料進來就自動測試、機敏資料設好屏蔽。 前兩件靠回饋迴路,最後一件才需要規定。
延伸閱讀
- 數據中台是什麼?中型企業需要建數據中台嗎?(誰負責資料整合)
- 存貨成本先進先出法(FIFO),可以用 SQL 在資料倉儲算嗎?(技術做法,給 IT 同事)
- 《從試算表到資料平台:重構資料工程的技術與團隊》第二、七、九章
想討論貴公司的資料治理從哪裡開始,歡迎直接來信。
來信談談你的資料問題