資料平台要放地端、雲端,
還是雲地混合?成本差在哪?
資料平台放在哪裡,先看資料能不能離開公司,再看資料量有多大。 資料受法遵或母公司規定不能出防火牆,就放在自有機房;總資料量在 1TB 以下、預算又是重要考量時,自架資料倉儲有機會比雲端資料倉儲省很多錢。 兩種限制同時存在時,可以雲地混合:敏感資料留在機房,運算放在雲端。
先看資料能不能離開公司
客戶名單、財務數字、製程參數若因法遵或母公司規定不能出防火牆,資料倉儲就得放在自有機房或私有雲。 多數 SaaS 資料工具只能跑在廠商的雲上,遇到這種限制,第一關就過不了。
資料進了資料倉儲之後,個資這類機敏欄位的權限要另外設計。資料倉儲若有內建的屏蔽機制,設定好屏蔽政策即可,不必在每條資料管線裡各自處理。
再看資料量與帳單
總資料量在 1TB 以下,或預算是重要考量時,先考慮自架資料倉儲。 雲端資料倉儲幾乎不用擔心查詢速度,但要擔心帳單:查詢沒有充分最佳化時,帳單成長得很快。在資料使用者超過 100 人的公司,每個月的雲端資料倉儲帳單,有可能超過整個資料團隊的人事費用。
自架時要選欄式儲存的資料倉儲,例如 ClickHouse。PostgreSQL 好上手,但它是列式儲存,總資料量接近 1TB 時效能會不夠。
雲地混合怎麼配置
雲地混合是把不能出防火牆的資料留在機房,其他工作放在雲端。 同一套開源元件在機房與雲端都能運行,所以可以依資料落地與法遵要求,一個元件一個元件決定放在哪裡。 放在雲端的部分,用一台雲端主機通常就夠,比 serverless 單純,也比較不會被綁在特定的雲平台上。
授權費:按人頭計價的 BI 工具
開源的資料工具自架時,不按使用人數付授權費。 商用 BI 與 ETL 工具多半按人頭計價,使用者一多,續約金額就往上跳。報表工具改用開源的 Metabase,看報表的人數增加時,授權費不會跟著增加。
| 部署方式 | 資料放在哪裡 | 主要成本 | 適合的情況 |
|---|---|---|---|
| 自有機房(地端) | 公司機房或私有雲 | 硬體與維運人力 | 資料不能出防火牆 |
| 雲端資料倉儲 | 廠商的雲 | 依用量計費,查詢沒最佳化時成長快 | 資料量大、需要隨時擴充 |
| 雲端主機自架 | 自己選的雲 | 主機費與維運人力 | 1TB 以下、預算是重要考量 |
| 雲地混合 | 敏感資料在機房,運算在雲端 | 兩邊都有 | 只有部分資料受法遵限制 |
| 睿博的做法 | 依資料落地與法遵要求配置 | 開源元件,不按人頭計價 | 以上皆可,平台所有權屬於客戶 |
延伸閱讀
- 資料治理是什麼?中型企業要從哪裡開始?(機敏資料的屏蔽)
- 〈選一朵容易了解的雲〉(睿博洞察)
- 《從試算表到資料平台:重構資料工程的技術與團隊》第二、九章
想討論貴公司的資料平台適合放在哪裡,歡迎直接來信。
來信談談你的資料問題