存儲技巧: 如何估算重複數據删除的比率

如何對數據進行識别和去(qù)重是現在主流重複數據删除軟件的主要區别。希望下(xià)面的文章可以幫您找到最合适的重複數據删除軟件。

在硬盤上進行數據備份是大(dà)勢所趨。以後将會有越來越多的備份工(gōng)作從磁帶轉移到磁盤上，重複數據删除的重要性由此也變的更爲明顯。由于每個廠家的産品各不相同，以及對這種技術的不了解，導緻許多的存儲管理員(yuán)在選擇重複數據删除産品時感到茫然。

在備份過程中(zhōng)，重複數據删除産品主要運行在兩個地方：備份軟件和硬盤庫中(zhōng)。主流的備份軟件有以下(xià)幾款：Asigra公司的Tele- vaulting，EMC公司的Avamar，賽門鐵克公司的Veritas Netbackup PureDisk。這些備份軟件可以在主機級别對數據進行重複數據删除，然後将處理過的數據傳遞到備份目标盤或者災難恢複地點。主流的磁盤庫廠家包括：Data Domain、Diligent Technologies、Quantum和Sepaton等。重複數據删除軟件可以對這些目标端設備進行數據的重複删除，而且不會影響正常的數據備份工(gōng)作。

下(xià)面提到的算法基本适用于任何廠家的重複數據删除産品。重複數據删除對性能有何影響及重複删除後的數據如何管理是兩個最受關注的問題。有時使用一(yī)種方法可能無法滿足備份的需求，這時存儲管理員(yuán)不得不在磁盤庫和備份軟件中(zhōng)同時運行重複數據删除軟件。部署重複數據删除時可能會遇到一(yī)些潛在的問題，例如，未進行重複删除的數據能否保存到磁帶上，重複數據删除技術是否跟備份軟件兼容，必要時能否将重複數據删除功能關閉等。用戶一(yī)定要在權衡利弊之後再決定是否進行實施。

如何估算重複數據删除的比率

多餘的數據：

服務器上多餘的數據越多，重複删除的比率就越高。如果用戶使用的是同一(yī)種操作系統，例如Windows，并且系統上的文件或者數據庫數據大(dà)部分(fēn)相同的話(huà)，重複數據删除的效果會很理想。如果用戶使用不同的操作系統，并且上面的數據文件都不相同，那重複數據删除的比率會比較低。

數據變化的頻(pín)率：

重複數據删除的比率跟數據變化的頻(pín)率有關。數據變化的頻(pín)率越高，重複數據删除的比率越低。平時所說的20：1的重複數據删除比率是基于數據變化率爲5%基礎之上的。

數據預壓縮：

數據壓縮是數據删除算法中(zhōng)的一(yī)個關鍵因素。數據壓縮的比率一(yī)般爲2：1，廠家宣傳的重複删除的數據通常已包含壓縮功能删除的這部分(fēn)數據。如果重複數據删除比率是15:1,通過壓縮可以達到30：1. 不過如果已經壓縮過的數據，例如jpeg，mpeg，zip文件，再次壓縮基本不會有什麽效果。

數據保存周期：

數據保存的周期可以影響數據重複删除的比率。如果計劃讓重複數據删除的比率達到10倍或者30倍，需要将數據保存周期設置爲20周。如果沒有足夠的空間存儲數據，重複數據删除的比率就會降低。

全備份的次數：

全備份的次數越多，重複數據删除的比率就越高。