Hadoop Cluter 구축

계정 만들기

adduser hadoop 으로 하둡용 계정 만들고 진행하는게 좋음. 

호스트 정의

/etc/hosts 에 클러스터 머신들의 IP 와 hostname을 정의

예)

10.0.0.1 namenode

10.0.0.2 datanode1

10.0.0.3 datanode2

하둡 다운로드

wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

tar xvzf hadoop-2.6.4.tar.gz
ln -s hadoop-2.6.4 hadoop

SSH public key  생성
namenode 에서 
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
aws s3 cp .ssh/id_dsa.pub s3://버킷네임/id_dsa.pu

datanode 에서 
aws s3 cp s3://emrtestldkldk/id_dsa.pub id_dsa.pub
cat ./id_dsa.pub >> ~/.ssh/authorized_keys

그러면 namenode에서 ssh hadoop@datanode1 과 같이 하면
패스워드 묻지 않고 로그인이 된다.

vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_PID_DIR=/home/hadoop/hadoop-2.6.4/pids

vi etc/hadoop/core-site.xml

 <property>
   <name>fs.default.name</name>
   <value>hdfs://namenode:9000</value>
 </property>
 <property>
    <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/hadoop-data/</value>
 </property>

vi etc/hadoop/hdfs-site.xml

 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
    <name>dfs.http.address</name>
    <value>namenode:50070</value>
 </property>

vi etc/hadoop/mapred-site.xml

 <property>
   <name>mapred.job.tracker</name>                                                                                                                                                           
   <value>namenode:9001</value>                                                                                                                                                              
 </property>

bin/hdfs namenode -format

./sbin/start-all.sh 

하면 전체 노드에 대해 실행이 되고 

jps 명령어를 치면 각각 어떤 프로세스가 실행되는지 확인할 수 있다. 

http://namenode:50070 으로 접속하여 

잘 구축에 되었는지 확인한다.