精準、高效的重復數(shù)據(jù)刪除

數(shù)據(jù)的備份保護，總是充斥著大量冗余數(shù)據(jù)占用存儲空間，為了解決這個問題，人們開始關注“重復數(shù)據(jù)刪除”技術，希望能節(jié)約出大量的存儲空間。所以，在數(shù)據(jù)的備份容災產品中，“重復數(shù)據(jù)刪除”技術也就成了考量產品在技術含量、運行性能、產品質量等方面是否優(yōu)越的考核指標之一。

一、重復數(shù)據(jù)刪除的應用優(yōu)勢

鼎甲科技在重復數(shù)據(jù)刪除的處理上，立足于用戶角度，既實現(xiàn)了減少對客戶端主機資源的占用，又實現(xiàn)了數(shù)據(jù)存儲空間的節(jié)約使用。

??

1. 支持源端去重??，減少備份業(yè)務在數(shù)據(jù)傳輸時對網絡資源的占用。

2. 集合了固定塊和變長塊的分割技術，??對不同的備份目標類型選用合適的數(shù)據(jù)分塊技術。同時，采用變長塊分割技術可以針對不同范圍內的數(shù)據(jù)對象進行動態(tài)分塊，使得數(shù)據(jù)塊的匹配概率和效率更高。

3. 采用優(yōu)化的指紋索引技術進行數(shù)據(jù)比對。??通過把指紋數(shù)據(jù)讀到內存中處理，提升數(shù)據(jù)的比對效率，并減少了對客戶端主機計算資源的占用，使得數(shù)據(jù)去重運算在客戶端主機資源占用和重刪率之間達到最佳平衡點。

4. 支持全局重刪和局部重刪，??全局重刪只保存唯一一份相同數(shù)據(jù)，最大化減少備份數(shù)據(jù)的冗余存儲。

二、重復數(shù)據(jù)刪除的核心技術

??鼎甲科技為了達到最佳的數(shù)據(jù)去重效果，DBackup中集合了固定塊和變長塊的分割技術。??

• 固定塊分割技術，是把備份數(shù)據(jù)分割成互不重疊的定長數(shù)據(jù)塊，常用的塊大小有4k、8k、16k、32k、64k、128k等，由于不需要對數(shù)據(jù)塊的分界點進行計算，所以運算相對簡單，計算資源占用較少。但由于采用了定長的分塊處理，當向數(shù)據(jù)對象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時，會導致數(shù)據(jù)塊重新分塊，嚴重地影響重復數(shù)據(jù)刪除的效果。

• 變長塊分割技術，對備份的數(shù)據(jù)通過一個不斷滑動的窗口來確定數(shù)據(jù)塊分界，按其特征函數(shù)把備份數(shù)據(jù)動態(tài)分割成不同大小的數(shù)據(jù)塊。基于變長塊的處理，有效的解決了固定塊分割中存在的問題，當向數(shù)據(jù)對象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時，如果變化的內容不在數(shù)據(jù)塊的邊界內，數(shù)據(jù)塊不發(fā)生改變；當新增的內容產生一個新的邊界時，一個數(shù)據(jù)塊會分成兩個數(shù)據(jù)塊；如果變化的內容發(fā)生在滑動窗口內，將會破壞分界數(shù)據(jù)塊，那么兩個數(shù)據(jù)塊合成一個數(shù)據(jù)塊，或者兩個數(shù)據(jù)塊之間的邊界發(fā)生變化，產生新的數(shù)據(jù)塊。因此，插入或者刪除內容只影響相鄰的一個或者兩個數(shù)據(jù)塊，其余數(shù)據(jù)塊不會受影響，這樣使得數(shù)據(jù)的去重更為精準，但由于需要不斷計算數(shù)據(jù)的分界，導致占用部分計算資源。

三、鼎甲科技實現(xiàn)數(shù)據(jù)重刪的社會價值

鼎甲科技對重復數(shù)據(jù)刪除的實現(xiàn)，在數(shù)據(jù)分塊處理上，充分利用了固定塊和變長塊的技術優(yōu)勢，既保障了源端重刪時對客戶端主機資源的最小化占用，又實現(xiàn)了對重復數(shù)據(jù)的最大化刪除。

固定塊分割技術相對比較簡單，所以目前在國內外多數(shù)備份產品的數(shù)據(jù)重刪處理中普遍使用。而變長塊的處理技術，由于涉及到數(shù)據(jù)塊的動態(tài)分割，技術難度較大，目前國內尚無備份產品能實現(xiàn)，即使在國際的主流備份產品中，也只有數(shù)個具有很強技術實力的公司能實現(xiàn)。

鼎甲科技對于變長塊技術，投入了大量的人力物力，經過長時間的研究和論證，在鼎甲迪備產品中利用這一技術實現(xiàn)了數(shù)據(jù)重刪處理，可以驕傲的說：填補了國內在使用變長塊進行數(shù)據(jù)重刪處理上的技術空白。