資料治理是什麼?
中型企業要從哪裡開始?

資料治理是讓全公司的資料可以被信任的一套作法。 我們的看法是:治理是回饋迴路的補集。能用自動檢查及早發現問題的地方,就不必靠規定;規定只該留在迴路失效的地方:太慢、太貴,或第一次就不能發生。

什麼是外部性:從工廠排放汙水說起

外部性是指一方的決定,把成本轉嫁給沒有參與決定的另一方。 上游的工廠把汙水直接排進河裡,省下處理費;下游的漁民和居民,承擔河川被汙染的代價。 工廠不用付這筆成本,就沒有動機少排,所以需要政府介入:訂排放標準、稽查、開罰。這就是治理。

企業內部也有外部性

企業內部的系統和部門之間,也會互相轉嫁成本。 業務系統的工程師改了一個欄位名稱,省了自己的事;隔天下游的月報算錯,資料團隊花一整天追查原因。 改欄位的人不承擔這個成本,所以不會先通知下游。

外部性是治理需求的第一個來源。另外兩個是協調,例如全公司要對「營收」用同一個定義;以及先驗禁止,例如客戶個資外洩,第一次就不能發生。

治理的兩種作法:規定,或回饋迴路

治理可以靠規定的強制力,也可以靠回饋迴路。 以汙水為例,規定是排放標準與稽查,執行起來要人力、成本高;回饋迴路則像在排放口裝即時監測,一超標就自動通報。 能建出回饋迴路的地方就不需要額外的規定,規定只留給迴路來不及、太貴,或不能等第一次發生的情況。

Modern Data Stack 把軟體工程的作法帶進資料工作,偏向用回饋迴路來治理,比全部靠人制定規範更有彈性:

治理需求的來源資料上的例子回饋迴路仍需要規定的部分
外部性上游系統改了欄位,下游報表壞掉資料一進來就用 dbt test 檢查,失敗時自動通知無
協調各部門的營收定義不同,出現兩個營收數字定義寫成 SQL 放在資料建模層,所有報表共用;修改前先看對下游的影響由誰決定定義
先驗禁止機敏資料外洩迴路來不及權限與屏蔽政策,交給資料倉儲內建的屏蔽機制執行

中型企業從哪裡開始

中型企業不必先成立治理委員會,可以從三件能檢查的事開始:每個指標只有一個定義、資料進來就自動測試、機敏資料設好屏蔽。 前兩件靠回饋迴路,最後一件才需要規定。

延伸閱讀

想討論貴公司的資料治理從哪裡開始,歡迎直接來信。

來信談談你的資料問題