鼎甲一(yī)體(tǐ)機容災技術—重複數據删除

精準、高效的重複數據删除

數據的備份保護，總是充斥着大(dà)量冗餘數據占用存儲空間，爲了解決這個問題，人們開(kāi)始關注“重複數據删除”技術，希望能節約出大(dà)量的存儲空間。所以，在數據的備份容災産品中(zhōng)，“重複數據删除”技術也就成了考量産品在技術含量、運行性能、産品質量等方面是否優越的考核指标之一(yī)。

一(yī)、重複數據删除的應用優勢

鼎甲科技在重複數據删除的處理上，立足于用戶角度，既實現了減少對客戶端主機資(zī)源的占用，又(yòu)實現了數據存儲空間的節約使用。



1. 支持源端去(qù)重，減少備份業務在數據傳輸時對網絡資(zī)源的占用。

2. 集合了固定塊和變長塊的分(fēn)割技術，對不同的備份目标類型選用合适的數據分(fēn)塊技術。同時，采用變長塊分(fēn)割技術可以針對不同範圍内的數據對象進行動态分(fēn)塊，使得數據塊的匹配概率和效率更高。

3. 采用優化的指紋索引技術進行數據比對。通過把指紋數據讀到内存中(zhōng)處理，提升數據的比對效率，并減少了對客戶端主機計算資(zī)源的占用，使得數據去(qù)重運算在客戶端主機資(zī)源占用和重删率之間達到最佳平衡點。

4. 支持全局重删和局部重删，全局重删隻保存唯一(yī)一(yī)份相同數據，最大(dà)化減少備份數據的冗餘存儲。

二、重複數據删除的核心技術

鼎甲科技爲了達到最佳的數據去(qù)重效果，DBackup中(zhōng)集合了固定塊和變長塊的分(fēn)割技術。

• 固定塊分(fēn)割技術，是把備份數據分(fēn)割成互不重疊的定長數據塊，常用的塊大(dà)小(xiǎo)有4k、8k、16k、32k、64k、128k等，由于不需要對數據塊的分(fēn)界點進行計算，所以運算相對簡單，計算資(zī)源占用較少。但由于采用了定長的分(fēn)塊處理，當向數據對象中(zhōng)插入數據或者從中(zhōng)删除數據時，會導緻數據塊重新分(fēn)塊，嚴重地影響重複數據删除的效果。

• 變長塊分(fēn)割技術，對備份的數據通過一(yī)個不斷滑動的窗口來确定數據塊分(fēn)界，按其特征函數把備份數據動态分(fēn)割成不同大(dà)小(xiǎo)的數據塊。基于變長塊的處理，有效的解決了固定塊分(fēn)割中(zhōng)存在的問題，當向數據對象中(zhōng)插入數據或者從中(zhōng)删除數據時，如果變化的内容不在數據塊的邊界内，數據塊不發生(shēng)改變；當新增的内容産生(shēng)一(yī)個新的邊界時，一(yī)個數據塊會分(fēn)成兩個數據塊；如果變化的内容發生(shēng)在滑動窗口内，将會破壞分(fēn)界數據塊，那麽兩個數據塊合成一(yī)個數據塊，或者兩個數據塊之間的邊界發生(shēng)變化，産生(shēng)新的數據塊。因此，插入或者删除内容隻影響相鄰的一(yī)個或者兩個數據塊，其餘數據塊不會受影響，這樣使得數據的去(qù)重更爲精準，但由于需要不斷計算數據的分(fēn)界，導緻占用部分(fēn)計算資(zī)源。

三、鼎甲科技實現數據重删的社會價值

鼎甲科技對重複數據删除的實現，在數據分(fēn)塊處理上，充分(fēn)利用了固定塊和變長塊的技術優勢，既保障了源端重删時對客戶端主機資(zī)源的最小(xiǎo)化占用，又(yòu)實現了對重複數據的最大(dà)化删除。

固定塊分(fēn)割技術相對比較簡單，所以目前在國内外(wài)多數備份産品的數據重删處理中(zhōng)普遍使用。而變長塊的處理技術，由于涉及到數據塊的動态分(fēn)割，技術難度較大(dà)，目前國内尚無備份産品能實現，即使在國際的主流備份産品中(zhōng)，也隻有數個具有很強技術實力的公司能實現。

鼎甲科技對于變長塊技術，投入了大(dà)量的人力物(wù)力，經過長時間的研究和論證，在鼎甲迪備産品中(zhōng)利用這一(yī)技術實現了數據重删處理，可以驕傲的說：填補了國内在使用變長塊進行數據重删處理上的技術空白(bái)。