하둡 가상 분산 모드 설치(Hadoop 1.2.1 version)

 

하둡 가상 분산 모드를 설치 하겠습니다.

하둡 가상 분산 모드는 한대의 피씨 안에 네임노드,세컨더리노드,데이터노드,잡트래커,태스크트래커의 데몬을 모두 올려 사용 하는 모드 입니다.

 

 

1. 자바 설치 ( 자바 설치는 저의 하둡완전분산모드 설치란에 보시면 있습니다.)

 

2. ssh 설정하기

ssh-keygen -t rsa를 입력하고 ssh키를 생성합니다.

 

3. .ssh 디렉토리에 들어가서 id_rsa.pub 파일을 authorized_keys 파일로 복사하여 생성합니다.

 

 

4. /etc/hosts 파일의 호스트를 추가 합니다.

 

 

5. /etc/profile에 JAVA_HOME,HADOOP_HOME(설치되거나 설치하려는 디렉토리)을 추가합니다.

PATH 설정도 추가합니다.

 

 

6. 다운 받은 하둡 파일을 압축 해제 후 원하는 경로로 위치 합니다.

 

 

7. 하둡 디렉토리 안에 conf 폴더 밑에 있는 하둡 환경 설정 파일을 확인 합니다.

(1) core-site.xml

(2) hadoop-env.sh

(3) hdfs-site.xml

(4) mapred-site.xml

(5) masters

(6) slaves

 

 

8-1. core-site.xml 파일을 수정합니다.

 

8-2. hadoop-env.sh 파일을 수정합니다.

 

8-3. hdfs-site.xml 파일을 수정합니다.

 

8-4. mapred-site.xml 파일을 수정합니다.

 

8-5. masters파일을 수정합니다.(완전 분산 모드일시 SecondaryNameNode를 적습니다.)

 

8-6. slaves 파일을 수정합니다.(완전 분산 모드시 DataNode를 적습니다.)

 

 

9. 하둡 네임노드를 포맷합니다.

 

 

10. 하둡 노드를 모두 실행합니다.

 

 

11. 노드 모두 실행 뒤 jps를 입력하여 노드들이 잘 올라왔는지 확인합니다.

(SecondaryNameNode, TaskTracker, JobTracker, NameNode, DataNode 모두 확인합니다)