Ganglia 설치하기

[설치환경]

CentOS 6.5

Hadoop 1.2.1

Ganglia 3.1.7

Hadoop -  Cluster구성을 다음과 같이 하였습니다.
	네임노트 (namenode : 1대
	데이터노드 (secondarynamenode, datanode02, datanode03) 3대

Ganglia 설치	
	namenode  = 메타 데몬(gmetad) + 모니터 데몬(gmond) 설치
	secondarynamenode, datanode02, datanode03 은 = 모니터 데몬(gmond) 설치
	
	namenode 는 yum 으로 아파치 웹서버가 설치되어 있어야 하며, 아파치가 컴파일 설치되었을 경우는 "ganglia-web" 설치를 위하여 추가 컴파일 필요하기 때문에 yum 으로 설치namenode를  Ganglia 메터 노드로 이용하는 이유는 단순히 설명의 편의를 위해서입니다.

1. yum으로 아파치 웹 서버를 설치 합니다. (설치가 되어 있다면 넘어가셔도 됩니다.) 

2. 아파치 웹서버의 설치가 완료 되면 웹서버를 실행 합니다.

2. yum 으로 ganglia를 설치를 위해서는 "rpmforge" 레퍼지토리를 추가해 주어야 한다.

루트 계정으로 로그인하여 
다음과 같이  각 서버들에 "rpmforge" rpm 설치한다.

3. 메타노드 + 클라이언트 노드 역할을 수행하므로 gmond, gmetad web 모둘 모두 설치해준다.

루트계정으로 로그인 후, rrdtool 먼저 설치.

4. rrdtool 디렉토리 owener를 nobody 로 수정

5. gmetad, gmond, web 추가 설치

6. selinux 보안 기능 끄기 (권한 충돌 ) selinux 설정정보 수정

7. selinux 기능을 끄기 0

8. ganglia 패스 접근 권한을 전체 보기 권한으로 풀어준다.

9. Ganglia 메타 데몬 설정 다음과 같이 data_source 에 클러스터들 계속 추가함

10. Ganglia 모니터 데몬 설정

11. 8649 포트 tcp, udp 프토로콜 방화벽 열기

12. 부팅시 자동 실행 설정, 서비스 실행

13. 모니터 노드들은 gmond만 설치해준다.

14. Ganglia 모니터 데몬 설정

15. 부팅시 자동 실행 설정, 서비스 실행

16. Hadoop-Ganglia 설정

hadoop 계정으로 name 노드에 접속

Hadoop ganglia 설정 파일 수정 (ganglia 3.1.x 버전 기준)
1
vi /usr/local/hadoop/conf/hadoop-metrics2.properties
1
2
3
4
5
6
7
8
9
10
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
 
namenode.sink.ganglia.servers=namenode:8649
datanode.sink.ganglia.servers=namenode:8649
jobtracker.sink.ganglia.servers=namenode:8649
tasktracker.sink.ganglia.servers=namenode:8649
maptask.sink.ganglia.servers=namenode:8649
reducetask.sink.ganglia.servers=namenode:8649  

설정파일들 데이터노드들에 싱크처리

1
2
3
4
5
cd /usr/local/hadoop/conf/
rsync -av . hadoop@data01.mdms:/usr/local/hadoop/conf/
rsync -av . hadoop@data02.mdms:/usr/local/hadoop/conf/
rsync -av . hadoop@data03.mdms:/usr/local/hadoop/conf/
rsync -av . hadoop@data04.mdms:/usr/local/hadoop/conf/ 

하둡 재시작

17. http://namenode/ganglia 접속

 - 끝.

---------------------------------------------------------------

  - 참조

http://itnp.kr/roller/home/entry/hadoop_cluster_%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81%EC%9D%84_%EC%9C%84%ED%95%9C_ganglia

http://www.webmadang.net/community/community.do?action=read&boardid=5001&page=1&seq=20