針對數(shù)據(jù)中心存在大量數(shù)據(jù)冗余的問題，特別是備份數(shù)據(jù)造成的存儲容量浪費，提出一種基于Hadoop平臺的分布式重復(fù)數(shù)據(jù)刪除解決方案。該方案通過檢測并消除特定數(shù)據(jù)集內(nèi)的冗余數(shù)據(jù)，來顯著降低數(shù)據(jù)存儲容量，優(yōu)化存儲空間利用率。利用Hadoop大數(shù)據(jù)處理平臺下的分布式文件系統(tǒng)（HDFS）和非關(guān)系型數(shù)據(jù)庫HBase兩種數(shù)據(jù)管理模式，設(shè)計并實現(xiàn)一種可擴(kuò)展分布式重刪存儲系統(tǒng)。其中，MapReduce并行編程框架實現(xiàn)分布式并行重刪處理，HDFS負(fù)責(zé)重刪后的數(shù)據(jù)存儲，在HBase數(shù)據(jù)庫中構(gòu)建索引表，實現(xiàn)高效數(shù)據(jù)塊索引查詢。最后，利用虛擬機(jī)鏡像文件數(shù)據(jù)集對系統(tǒng)進(jìn)行了測試，基于Hadoop平臺的分布式重刪系統(tǒng)能在保證高重刪率的同時，具有高吞吐率和良好的可擴(kuò)展性。