精準、高效的重復數據刪除

數據的備份保護，總是充斥著大量冗余數據占用存儲空間，為了解決這個問題，人們開始關注“重復數據刪除”技術，希望能節約出大量的存儲空間。所以，在數據的備份容災產品中，“重復數據刪除”技術也就成了考量產品在技術含量、運行性能、產品質量等方面是否優越的考核指標之一。

一、重復數據刪除的應用優勢

鼎甲科技在重復數據刪除的處理上，立足于用戶角度，既實現了減少對客戶端主機資源的占用，又實現了數據存儲空間的節約使用。

??

1. 支持源端去重??，減少備份業務在數據傳輸時對網絡資源的占用。

2. 集合了固定塊和變長塊的分割技術，??對不同的備份目標類型選用合適的數據分塊技術。同時，采用變長塊分割技術可以針對不同范圍內的數據對象進行動態分塊，使得數據塊的匹配概率和效率更高。

3. 采用優化的指紋索引技術進行數據比對。??通過把指紋數據讀到內存中處理，提升數據的比對效率，并減少了對客戶端主機計算資源的占用，使得數據去重運算在客戶端主機資源占用和重刪率之間達到最佳平衡點。

4. 支持全局重刪和局部重刪，??全局重刪只保存唯一一份相同數據，最大化減少備份數據的冗余存儲。

二、重復數據刪除的核心技術

??鼎甲科技為了達到最佳的數據去重效果，DBackup中集合了固定塊和變長塊的分割技術。??

• 固定塊分割技術，是把備份數據分割成互不重疊的定長數據塊，常用的塊大小有4k、8k、16k、32k、64k、128k等，由于不需要對數據塊的分界點進行計算，所以運算相對簡單，計算資源占用較少。但由于采用了定長的分塊處理，當向數據對象中插入數據或者從中刪除數據時，會導致數據塊重新分塊，嚴重地影響重復數據刪除的效果。

• 變長塊分割技術，對備份的數據通過一個不斷滑動的窗口來確定數據塊分界，按其特征函數把備份數據動態分割成不同大小的數據塊。基于變長塊的處理，有效的解決了固定塊分割中存在的問題，當向數據對象中插入數據或者從中刪除數據時，如果變化的內容不在數據塊的邊界內，數據塊不發生改變；當新增的內容產生一個新的邊界時，一個數據塊會分成兩個數據塊；如果變化的內容發生在滑動窗口內，將會破壞分界數據塊，那么兩個數據塊合成一個數據塊，或者兩個數據塊之間的邊界發生變化，產生新的數據塊。因此，插入或者刪除內容只影響相鄰的一個或者兩個數據塊，其余數據塊不會受影響，這樣使得數據的去重更為精準，但由于需要不斷計算數據的分界，導致占用部分計算資源。

三、鼎甲科技實現數據重刪的社會價值

鼎甲科技對重復數據刪除的實現，在數據分塊處理上，充分利用了固定塊和變長塊的技術優勢，既保障了源端重刪時對客戶端主機資源的最小化占用，又實現了對重復數據的最大化刪除。

固定塊分割技術相對比較簡單，所以目前在國內外多數備份產品的數據重刪處理中普遍使用。而變長塊的處理技術，由于涉及到數據塊的動態分割，技術難度較大，目前國內尚無備份產品能實現，即使在國際的主流備份產品中，也只有數個具有很強技術實力的公司能實現。

鼎甲科技對于變長塊技術，投入了大量的人力物力，經過長時間的研究和論證，在鼎甲迪備產品中利用這一技術實現了數據重刪處理，可以驕傲的說：填補了國內在使用變長塊進行數據重刪處理上的技術空白。