[1004jonghee]Flume OG version 설치 및 로그 수집

 

Flume OG version 설치 방법입니다. 

 

 

Flume OG version은 cloudera 홈페이지에 올라와 있습니다. wget 명령어로 다운도르 합니다.

 

다운로드한 압축파일을 압축 해제 후 원하는 경로에 이동합니다.

 

[ root@NameNode ~]# tar xfvzp flume-0.9.4-cdh3u3.tar.gz

[ root@NameNode ~]# mv flume-0.9.4 /usr/local/flume

 

 

 

 

그다음  vi /etc/profile을 입력하여 환경설정을 합니다.

export FLUME_CONF_DIR=/usr/local/flume/conf

export FLUME_HOME=/usr/local/flume

을 추가로 입력후 source /etc/profile 을 입력하여 적용시킵니다.

 

 

 

 

 

그다음 flume환경설정을 할 차례입니다.

cd /usr/local/flume/conf를 입력하여 conf디렉토리에 있는 flume-site.xml.tmplate 파일을 flume-site.xml 로 복사합니다.

 

 

 

 

vi 편집기를 이용하여 flume-site.xml파일을 수정합니다.

vi flume-site.xml를 입력합니다. 

 

flume.master.servers 마스터될 노드입니다. 여기에 마스터를 여러개 입력하여 멀티마스터노드로 관리할 수 있습니다.

flume.collector.event.host       collector가 될 호스트 네임을 적어 주시면 됩니다.

flume.collector.port        collector가 사용할 포트번호 입니다.

flume.collector.dfs.dir      collector의 저장 디렉토리 입니다.

 

 

 

환경설정을 다 끝냈다면 하둡의 라이브러리 파일을 가져옵니다. 하둡 폴더에 있는

hadoop-core-1.1.2.jar파일을 flume lib폴더에 복사하여 가져 옵니다.

 

 

 

여기까지 되었으면 flume폴더를 로그를 수집할 agent, collector에 배포합니다.

 배포된 파일을 압축해제 합니다.

 

 

 

master node에서 flume/bin 폴더에 있는 flume파일을 실행합니다.

flume master를 입력하여 실행합니다.

 

 

 

agent, collector는 실행노드의 이름 바꾸고 똑같이 실행합니다.  -n <-- 실행노드의 이름설정입니다.

 

 

 

 

 

 

각 노드를 실행하였다면 이제 Master,Agent,Collector를 매핑시켜줘야 합니다.

 

http://masternodename:35871   <-- 여기로 접속합니다.

master노드는 기본으로 35871 포트를 사용합니다. 메인 페이지 왼쪽 상단의 config를 클릭합니다.

 

 

 

 

 

 

Choose fome list를 선택하여 flume-collector를 선택후

Source: 칸에 collectorSource(35853) 를 입력합니다.

Sink: 칸에는 collectorSink("hdfs://NameNode:9000/logs/%H00","%{host}-") 입력합니다.

그다음 질의보내기를 입력하고 잠시 기다리면 됩니다.

 

Source는 데이터를 받아오는 곳이며, Sink는 데이터를 내보낼 곳을 선택하는 것입니다.

 

 

한번 더 Choose fome list를 선택하여 flume-agent를 선택 후,

Source : 칸에 tail("/usr/local/hadoop/logs/hadoop-root-datanode-Datanode03.log")입력합니다.

<-- 로그를 가져올 경로를 입력합니다.

Sink : agentSink(DataNode02",35853)    <-- collector로 보낼 호스트와 포트를 입력합니다.

 

 

 

매핑을 다 하였으면 메인페이지에 돌아오면 현재 agent의 상태, collector의 상태,

로그데이터의 전송상태등 여러 상태를 제공하며, 관리를 할 수 있습니다.

 

 

 

 

HDFS에 데이터가 저장 되는지 확인 하여 봅니다. 저장될 경로로 지정하였던 HDFS에 가서 확입니다.

 

로그데이터가 실시간으로 저장되는 모습을 확인 할 수 있습니다.

 

파일 안에 내용을 보면 로그데이터정보를 확인 할 수 있습니다.