PB 級數據倉庫 | GaussDB(DWS) 超大規模數據保護最佳實踐
發布人:scutech 發布日期:2025-03-25 12:06:15 點擊數:75
隨著數字化轉型的加速,各行業業務場景日趨豐富,海量數據從交易系統、物聯網設備、用戶行為等渠道持續涌入,數據規模呈現爆炸式增長,數據倉庫應運而生。華為云數據倉庫GaussDB(DWS)憑借高并發查詢能力、行列混合存儲、向量化引擎等技術,可實現 PB 級數據秒級分析,目前已廣泛服務于金融、電信、能源等行業,成為國產首選的數據倉庫解決方案。
而超大規模 GaussDB(DWS)的數據保護方案,往往面臨備份數據巨大、備份窗口過長、恢復準確度低、性能調優不便等困難。鼎甲 DBackup 作為華為長期的合作伙伴,與華為云深度融合開發,推出 XBSA 流式 GaussDB(DWS)數據倉庫保護方案,打破上述備份難題,并于兩年前順利上線國內頭部銀行 1.6PB 超大規模 GaussDB(DWS),且穩定運行至今。
1. DBackup × GaussDB(DWS)?,保護方案四大核心優勢
一、精細化備份恢復
支持庫、表、schema 級的靈活備份恢復,精準定位目標數據,恢復效率提升 80%。
二、云原生性能調優
深度融合的云原生備份工具 Roach,專為多種業務場景設計,提供了 10 項關鍵的性能調優參數,以確保卓越的性能表現。
三、分布式重復數據刪除
采用分布式重刪架構,為多節點模式下的 GaussDB(DWS) 集群提供數據保護,并支持負載均衡調度、故障容錯機制和在線擴展能力。項目實測數據顯示,備份重刪比平均可達 86%。
四、官方認證解決方案
國內頭部銀行在其核心業務中采用 GaussDB(DWS),系統架構超 150 個數據節點,日需高效處理數十億級別的交易記錄,累積高達 1.6PB 的數據量。面對如此超大規模集群,客戶期望數據保護能實現以下優化目標:
●?快速備份恢復——2 小時備份窗口,TB 級數據在分鐘級恢復;
● 精準數據保護——需支持細粒度恢復,如:單表恢復;
●?高效存儲管理——重刪比高,大幅度節省備份數據的存儲成本。
實施方案
鼎甲 DBackup 結合客戶實際組網架構與軟硬件要求,打造如下部署方案:
國內頭部銀行在其核心業務中采用 GaussDB(DWS),系統架構超 150 個數據節點,日需高效處理數十億級別的交易記錄,累積高達 1.6PB 的數據量。面對如此超大規模集群,客戶期望數據保護能實現以下優化目標:
1、非侵入式部署:備份組網無需在 GaussDB(DWS) 節點上安裝代理軟件,僅需要在獨立的服務器或存儲服務器上配置備份主機,用于連接 GaussDB(DWS) 和備份系統。現場實施中,僅部署 12 臺備份主機,即滿足 150+ GaussDB(DWS) 集群節點的并行備份要求。
2、分布式重刪: 備份系統采用分布式重刪架構,通過構建 48 節點的重刪存儲池和極致的重刪比,有效承載 1.6PB 業務數據經備份生成的多份歷史副本。
3、TCO 低:項目采用萬兆網卡和低成本的機械硬盤,而非 25/40G 高性能網絡和 SSD 硬盤,通過高效的備份軟件,實現備份數據高速傳輸與持久化存儲。
實現效果
●?高吞吐備份:生產環境增量備份平均速度可達 9.62 GiB/s
●?分鐘級恢復:1 分鐘內精準恢復 200GB 表,滿足金融行業嚴苛的 RPO 要求
●?極致重刪壓縮比:完全備份重刪率最高可達 99%
●?上線至今 0 故障,穩定運行超 18 個月!
面對蓬勃發展的大數據浪潮,數據保護已成為永恒的話題。鼎甲推出的華為云數據倉庫 GaussDB(DWS) 保護方案,在功能細化與性能方面表現卓越,并歷經超大規模場景下的打磨,成為業界數倉保護的新標桿!
更多 DBackup 支持 GaussDB(DWS) 功能細節,可閱讀: