?搭建hadoop平臺(tái)步驟?

一、虛擬機(jī)及系統(tǒng)安裝

1. 下載vmware，并成功安裝；

2. 在vmware中安裝CentOS系統(tǒng)；

二、在虛擬機(jī)中配置JAVA環(huán)境

1.安裝java虛擬機(jī)（jdk-6u31-linux-i586.bin）；

2.配置環(huán)境變量

（1） vi /etc/profile （編輯文件）

（2） 添加

?

（3） source /etc/profile （注入環(huán)境變量）

注：使用ROOT和戶

三、修改hosts

vim /etc/hosts 修改為： 127.0.0.1 qiangjin

注：使用ROOT和戶

四、修改hostname vim /etc/sysconfig/network

修改為： NETWORKING=yes HOSTNAME=qiangjin

臨時(shí)修改hostname，使用

hostname qiangjin 查看當(dāng)前hostname，使用

hostname 注：使用ROOT和戶

五、配置ssh

1. 在當(dāng)前用戶主目錄下執(zhí)行

（1）ssh-keygen

（2）cat .ssh/id_rsa.pub 》》 .ssh/authorized_keys

（3）chmod 700 .ssh

（4）chmod 600 .ssh/authorized_keys

（5）ssh qiangjin 成功后，應(yīng)為：

?

六、壓縮包解壓

1. 解壓hadoop-0.20.2-cdh3u3.tar.gz；

2. 解壓hbase-0.90.4-cdh3u3.tar.gz；

3. 解壓hive-0.7.1-cdh3u3.tar.gz；

4. 解壓zookeeper-3.3.4-cdh3u3.tar.gz；

5. 解壓sqoop-1.3.0-cdh3u3.tar.gz；

6. 解壓mahout-0.5-cdh3u3.tar.gz；（數(shù)據(jù)挖掘算法專用）

注：tar –xvf xxxx.tar.gz

七、修改hadoop配置文件

（1）進(jìn)入到cdh3/hadoop-0.20.2-cdh3u3/conf

（2）修改

core-site.xml

?

注：fs.default.name配置中用到了自己配的hostname；

（3）修改hdfs-site.xml

?

注：?jiǎn)螜C(jī)時(shí)，一般將dfs.replication設(shè)置為1

（4）修改

mapred-site.xml

?

注：mapred.job.tracker中用到了自己配的hostname；

（5）修改

Masters

?

（6）修改

slaves?

（7）修改

hadoop-env.sh

需要添加環(huán)境變量

八、修改HBase配置

（1）進(jìn)入cdh3/hbase-0.90.4-cdh3u3/conf

（2）修改hbase-site.xml

圖七

（3）修改

Regionserver

（4）修改

hbase-env.sh

需要添加環(huán)境變量

九、修改hive配置

（1）進(jìn)入cdh3/hive-0.7.1-cdh3u3/conf

（2）添加hive-site.xml，并配置

?

注：需要注意hbase.zookeeper.quorum、mapred.job.tracker、hive.exec.scratchdir、javax.jdo.option.ConnectionURL、javax.jdo.option.ConnectionUserName、javax.jdo.option.ConnectionPassword處配置 需要添加環(huán)境變量

十、修改sqoop配置

需要添加環(huán)境變量

?

十一、修改zookeeper配置

（1）進(jìn)入cdh3/zookeeper-3.3.4-cdh3u3

（2）新建目錄zookeeper-data

（3）進(jìn)入zookeeper-data，并新建myid，里面填0

（4）進(jìn)入cdh3/zookeeper-3.3.4-cdh3u3/conf

? ? ? ?（5）修改

zoo.cfg

?

注：dataDir和server.0的配置；

需要添加環(huán)境變量

十二、修改mahout配置 需要添加環(huán)境變量

十三、數(shù)據(jù)庫JAR包

（1）將mysql-connector-java-5.1.6.jar放入到cdh3/hive-0.7.1-cdh3u3/lib

（2）將ojdbc14.jar放入到cdh3/sqoop-1.3.0-cdh3u3/lib

十四、hadoop首次format及啟動(dòng)，停止

1.hadoop的format hadoop namenode -format

2.hadoop的啟動(dòng) start-all.sh

3.hadoop的停止 stop-all.sh

注：使用jps或ps查看hadoop是否啟動(dòng)，啟動(dòng)時(shí)如果有問題，會(huì)在屏幕上顯示出來的。 可以輸入網(wǎng)址： http://qiangjin:50070 查看hadoop的運(yùn)行情況

十五、啟動(dòng)hbase

（1）啟動(dòng)

hbase，命令如下： start-hbase.sh （2）停止

hbase，命令如下： stop-hbase.sh （3）進(jìn)入hbase的

shell，命令如下 hbase shell

（4）查看hbase中的表，命令如下（需進(jìn)入到hbase shell中） list

（5）注：需要hadoop處于啟動(dòng)中。

注：需要hadoop處于啟動(dòng)中。 可以輸入網(wǎng)址： http://qiangjin:60010

查看hbase的運(yùn)行情況 十六、啟動(dòng)zookeeper

（1）啟動(dòng)zookeeper，命令如下 zkServer.sh start

（2）停止zookeeper，命令如下 zkServer.sh stop

注：如果是單機(jī)情況下，hbase的啟動(dòng)會(huì)帶動(dòng)zookeeper的啟動(dòng)；

十七、啟動(dòng)hive

（1）啟動(dòng)hive，命令如下 hive

（2）查看表，命令如下：（必須在hive命令窗口下執(zhí)行） show tables;

十八、運(yùn)行wordcount實(shí)例

（1）新建file01和file02，并設(shè)置內(nèi)容；

（2）在hdfs中建立一個(gè)input目錄： Hadoop fs –mkdir input

（3）將file01和file02

拷貝到hdfs中 hadoop fs -copyFromLocal file0* input

（4）執(zhí)行wordcount hadoop jar hadoop-examples-0.20.2-cdh3u3.jar wordcount input output

? ? ? ?（5）查看結(jié)果 hadoop fs -cat output/part -r -00000

十九、將oracle數(shù)據(jù)導(dǎo)入hive

（1）進(jìn)入cdh3/sqoop-1.3.0-cdh3u3/bin

（2）新建目錄importdata

（3）進(jìn)入目錄importdata

（4）新建sh文件

oracle-test.sh

（5）執(zhí)行。/ oracle- test.sh

（6）進(jìn)入hive，查看是否導(dǎo)入成功；

注：hive導(dǎo)入使用的參數(shù) 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns --hive-import

二十、將oracle數(shù)據(jù)導(dǎo)入hbase

（1）進(jìn)入cdh3/sqoop-1.3.0-cdh3u3/bin

（2）新建目錄importdata

（3）進(jìn)入目錄importdata

（4）新建sh文件

oracle-hbase.sh

（5）執(zhí)行。/ oracle-hbase.sh

（6）進(jìn)入hbase shell，查看是否導(dǎo)入成功；

注：hbase導(dǎo)入使用的參數(shù) 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns -hbase-create-table --hbase-table $hbaseTableName --hbase-row-key ID --column-family cf1

二十一、配置hbase到hive的映射

（1）進(jìn)入cdh3/hive-0.7.1-cdh3u3/bin

（2）新建目錄mapdata

（3）進(jìn)入mapdata

（4）新建

hbasemaphivetest.q

（5）執(zhí)行

hive -f hbasemaphivetest.q

注：列之間要對(duì)應(yīng)，類型要匹配；

二十二、mahout運(yùn)行

1、運(yùn)行example

（1）導(dǎo)入實(shí)例所用數(shù)據(jù)“synthetic_control.data”，在控制臺(tái)運(yùn)行 hadoop fs -put synthetic_control.data /user/liuhx/testdata/

（2）運(yùn)行實(shí)例程序，在控制臺(tái)運(yùn)行，運(yùn)行時(shí)間比較長(zhǎng)，需要迭代10次

Hadoop jar mahout-examples-0.5-cdh3u3-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

2、運(yùn)行結(jié)果查看，輸入命令

mahout vectordump --seqFile /user/liuhx/output/data/part-m-00000

3、圖形化顯示，輸入以下命令

hadoop jar mahout-examples-0.5-cdh3u3-job.jar org.apache.mahout.clustering.display.DisplayKMeans

?

二十三、Eclipse配置

1、安裝Eclipse

2、導(dǎo)入cdh3/hadoop-0.20.2-cdh3u3/src/contrib/eclipse-plugin工程

3、修改plugin.xml 主要更改runtime中jar包的配置；

4、運(yùn)行Run As-》Eclipse Application

5、在運(yùn)行得到的eclipse sdk中配置map/reduce location 在其中配置hadoop的運(yùn)行環(huán)境