電子發(fā)燒友App
四、云計算平臺搭建方法
目前開源的云計算平臺的搭建都要依托Linux系統(tǒng)，因此我們有2種辦法搭建云計算平臺：安裝Linux系統(tǒng)和在其他操作系統(tǒng)下安裝Linux虛擬機后搭建云平臺。目前主流的虛擬機有：
VirtualBox
Vmware
有了Linux系統(tǒng)環(huán)境后就能搭建云計算平臺了，幾大開源云平臺系統(tǒng)有：
Hadoop系統(tǒng)
OpenStack
云計算平臺的搭建=Linux系統(tǒng)+開源云平臺+SSH框架。
五、云計算平臺原理
1.Hadoop系統(tǒng)原理
Hadoop是一個開源的可運行于大規(guī)模集群上的分布式并行編程框架，其最核心的設計包括：Map Reduce和HDFS?；?Hadoop，你可以輕松地編寫可處理海量數據的分布式并行程序，并將其運行于由成百上千個結點組成的大規(guī)模計算機集群上。
簡單的說：Map Reduce框架的核心步驟主要分兩部分：Map和Reduce。當你向Map Reduce框架提交一個計算作業(yè)時，它會首先把計算作業(yè)拆分成若干個Map任務，然后分配到不同的節(jié)點上去執(zhí)行，每一個Map任務處理輸入數據中的一部分，當Map任務完成后，它會生成一些中間文件，這些中間文件將會作為Reduce任務的輸入數據。Reduce對數據做進一步處理之后，輸出最終結果。
Map Reduce是Hadoop的核心技術之一，為分布式計算的程序設計提供了良好的編程接口，并且屏蔽了底層通信原理，使得程序員只需關心業(yè)務邏輯本事，就可輕易的編寫出基于集群的分布式并行程序。從它名字上來看，大致可以看出個兩個動詞Map和Reduce，“Map（展開）”就是將一個任務分解成為多個子任務并行的執(zhí)行，“Reduce”就是將分解后多任務處理的結果匯總起來，得出最后的分析結果并輸出。
適合用 Map Reduce來處理的數據集（或任務）有一個基本要求：待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理。
想要徹底了解Hadoop系統(tǒng)的原理是十分困難的，由于篇幅有限，知識水平也不高，我只能描寫其大概面貌，本次課程設計的核心是學習搭建與運用云計算平臺，沒有足夠的時間與精力去完全了解Hadoop的原理，在這里我們不妨就理解為：
Hadoop系統(tǒng)=HDFS分布式文件系統(tǒng)+Map Reduce運算機制。
這樣就能很好的明白它們的大致關系，有助于對后面實驗的理解。
2.Ubuntu系統(tǒng)
本次課程設計所使用的Linux系統(tǒng)是ubuntu14。
Ubuntu（烏班圖）是一個以桌面應用為主的Linux操作系統(tǒng)，其名稱來自非洲南部祖魯語或豪薩語的“Ubuntu”一詞，意思是“人性”、“我的存在是因為大家的存在”，是非洲傳統(tǒng)的一種價值觀，類似華人社會的“仁愛”思想。Ubuntu基于Debian發(fā)行版和GNOME桌面環(huán)境，而從11.04版起，Ubuntu發(fā)行版放棄了Gnome桌面環(huán)境，改為Unity，與Debian的不同在于它每6個月會發(fā)布一個新版本。Ubuntu的目標在于為一般用戶提供一個最新的、同時又相當穩(wěn)定的主要由自由軟件構建而成的操作系統(tǒng)。
LTS 是 Ubuntu 的長期支持版，因此 Ubuntu 14.04 支持周期長達 3-5 年。因此 Ubuntu 14.04 是追求穩(wěn)定的用戶和企業(yè)的最佳選擇。所以本次課程設計選擇ubuntu14.04LTS版本完全能夠應付云平臺搭建與相關實驗的任務。
六、云計算平臺搭建過程
1.Ubuntu系統(tǒng)的安裝
去Ubuntu官網下載好對應版本的系統(tǒng)鏡像，并用虛擬光驅軟件加載鏡像，選擇安裝Ubuntu系統(tǒng)，一路點擊繼續(xù)后大約10來分鐘就可以安裝好Ubuntu系統(tǒng)了。
2.Hadopp系統(tǒng)部署
修改機器名：
打開/etc/hostname文件，將/etc/hostname文件中的Ubuntu改為你想取的機器名。這里我取“s15“。重啟系統(tǒng)后才會生效。
安裝ssh服務：
在terminal窗口中輸入：Sudoaapt-getinstallopenssh-server
建立ssh無密碼登錄本機
在terminal窗口中輸入：
ssh-keygen-tdsa-P‘’-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub》》~/.ssh/authorized_keys
登錄localhost：
在terminal窗口中輸入：bin/start-all.sh
安裝Hadoop：
下載Hadoop安裝包并解壓，打開Hadoop/conf/Hadoop.sh文件，配置conf/Hadoop.sh：找到#exportJAVA_HOME=。。。一行，去掉#，然后加上本機JDK的路徑。
打開conf/core-site.XML文件，加入如下代碼：
《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs://localhost:9000《/value》
《/property》
《/configuration》
打開conf/mapred-site.XML文件，編輯如下：
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》localhost:9001《/value》
《/property》
《/configuration》
打開conf/masters文件和conf/slaves文件，添加secondary的主機名，作為單機版環(huán)境，這里只需填寫localhost就Ok了。
到這里Hadoop系統(tǒng)就部署完畢了。調用bin/start-all.sh命令即可以啟動Hadoop，用JSP命令查看系統(tǒng)狀態(tài)，出現(xiàn)如下信息說明系統(tǒng)部署成功：
工商網監(jiān)
評論