資料平台要放地端、雲端,
還是雲地混合?成本差在哪?

資料平台放在哪裡,先看資料能不能離開公司,再看資料量有多大。 資料受法遵或母公司規定不能出防火牆,就放在自有機房;總資料量在 1TB 以下、預算又是重要考量時,自架資料倉儲有機會比雲端資料倉儲省很多錢。 兩種限制同時存在時,可以雲地混合:敏感資料留在機房,運算放在雲端。

先看資料能不能離開公司

客戶名單、財務數字、製程參數若因法遵或母公司規定不能出防火牆,資料倉儲就得放在自有機房或私有雲。 多數 SaaS 資料工具只能跑在廠商的雲上,遇到這種限制,第一關就過不了。

資料進了資料倉儲之後,個資這類機敏欄位的權限要另外設計。資料倉儲若有內建的屏蔽機制,設定好屏蔽政策即可,不必在每條資料管線裡各自處理。

再看資料量與帳單

總資料量在 1TB 以下,或預算是重要考量時,先考慮自架資料倉儲。 雲端資料倉儲幾乎不用擔心查詢速度,但要擔心帳單:查詢沒有充分最佳化時,帳單成長得很快。在資料使用者超過 100 人的公司,每個月的雲端資料倉儲帳單,有可能超過整個資料團隊的人事費用。

自架時要選欄式儲存的資料倉儲,例如 ClickHouse。PostgreSQL 好上手,但它是列式儲存,總資料量接近 1TB 時效能會不夠。

雲地混合怎麼配置

雲地混合是把不能出防火牆的資料留在機房,其他工作放在雲端。 同一套開源元件在機房與雲端都能運行,所以可以依資料落地與法遵要求,一個元件一個元件決定放在哪裡。 放在雲端的部分,用一台雲端主機通常就夠,比 serverless 單純,也比較不會被綁在特定的雲平台上。

授權費:按人頭計價的 BI 工具

開源的資料工具自架時,不按使用人數付授權費。 商用 BI 與 ETL 工具多半按人頭計價,使用者一多,續約金額就往上跳。報表工具改用開源的 Metabase,看報表的人數增加時,授權費不會跟著增加。

部署方式資料放在哪裡主要成本適合的情況
自有機房(地端)公司機房或私有雲硬體與維運人力資料不能出防火牆
雲端資料倉儲廠商的雲依用量計費,查詢沒最佳化時成長快資料量大、需要隨時擴充
雲端主機自架自己選的雲主機費與維運人力1TB 以下、預算是重要考量
雲地混合敏感資料在機房,運算在雲端兩邊都有只有部分資料受法遵限制
睿博的做法依資料落地與法遵要求配置開源元件,不按人頭計價以上皆可,平台所有權屬於客戶

延伸閱讀

想討論貴公司的資料平台適合放在哪裡,歡迎直接來信。

來信談談你的資料問題