近年來，隨著網(wǎng)絡和云計算技術(shù)的飛速發(fā)展，網(wǎng)絡數(shù)據(jù)以幾何級數(shù)的方式迅速增長。數(shù)據(jù)的爆炸性增長對存儲系統(tǒng)的容量、可擴展性以及I/O性能等方面提出了越來越高的要求。如今雖然計算、傳輸和存儲三大IT基礎設施都得到了飛速的發(fā)展，但是相對于計算和傳輸而言，存儲技術(shù)相對發(fā)展緩慢。分布式文件系統(tǒng)是指網(wǎng)絡中的多個存儲節(jié)點通過網(wǎng)絡組織起來，并通過網(wǎng)絡來完成各存儲節(jié)點的通信和控制的文件系統(tǒng)。由于其能有效解決分布式存儲系統(tǒng)的海量數(shù)據(jù)存儲和I/O瓶頸問題，在容量和可擴展性等方面有很大優(yōu)勢，越來越受到企業(yè)界、學術(shù)界的青睞。

　　針對Hadoop分布式文件系統(tǒng)（HDFS）的寫性能在執(zhí)行效率上的不足，提出一種在節(jié)點性能異構(gòu)環(huán)境中對HDFS數(shù)據(jù)塊進行并發(fā)傳輸?shù)恼{(diào)度算法。該算法實時監(jiān)控HDFS集群中每個節(jié)點的資源狀態(tài)和內(nèi)存緩存隊列，動態(tài)地將接收節(jié)點與轉(zhuǎn)發(fā)節(jié)點進行配對傳輸，使全系統(tǒng)節(jié)點的網(wǎng)卡和磁盤并發(fā)工作，縮短了所有副本寫入分布式文件系統(tǒng)的時間。將數(shù)據(jù)寫入磁盤后請求下一個數(shù)據(jù)塊，保證數(shù)據(jù)安全性，同時也使得各個節(jié)點獲得與自身性能相匹配的副本數(shù)，使性能異構(gòu)的系統(tǒng)能達到較高的寫入速度。性能測試結(jié)果表明，使用該算法的分布式文件系統(tǒng)的寫入性能較原始的HDFS提高了l倍。
?