Oozie 설치하기

설치환경

hadoop 1.2.1

maven 3.1.1

Oozie 3.3.2

1. Oozie 설치전에 maven을 설치합니다. maven을 다운로드 합니다.

2. 다운로드 한 maven을 압축해제 합니다. 압축을 해제 후 

vi /etc/profile에 환경변수를 지정해 줍니다. 

MAVEN_HOME=/압축해제한 폴더/

3. Oozie를 다운 받기전 빌드해야 할 공간을 따로 생성합니다.

4. Oozie를 다운로드합니다.

5. 다운로드한 Oozie를 압축해제 합니다.

6. 아래의 경로로 들어가서 Oozie를 빌드합니다.

./mkdistro.sh -DskipTests

7. 아래와 같이 빌드가 되어 집니다.

8. 빌드폴더의 아래 경로로 들어가서 oozie-3.3.2-distro.tar.gz 파일을 압축해제 할 경로에 복사를 합니다. 

9. 복사한 oozie-3.3.2-distro.tar.gz 파일을 압축해제 합니다.

10. oozie-3.3.2 폴더가 생성되어 집니다. 폴더에 들어가서 libext 폴더를 생성합니다.,.

cd oozie-3.3.2

mkdir libext

11. 환경변수를 지정해 줍니다. 

vi /etc/profile

export OOZIE_HOME=/압축해제 폴더/

export PATH=$PATH/$OOZIE_HOME/bin

12. 하둡의 라이브러리 파일을 방금전 생성한 libext 폴더로 복사합니다.

13. 하둡의 코어 라이브러리 파일도 libext 폴더로 복사합니다.

14. ext-2.2.zip 파일을 다운로드 합니다. 다운로드 된 ext-2.2.zip 파일을 libext 폴더로 이동합니다.

15. oozie의 환경변수를 셋업 합니다.

./oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip

16.  아래와 같이 메시지가 출력됩니다.

17. ooziedb sql 파일을 생성합니다. 

./ooziedb.sh create -sqlfile oozie.sql -run

18. oozie 테스트를 위해 example파일을 압축 해제 후 Hadoop file system에 업로드 합니다.

19. 아래의 경로에 있는 job.properties 파일을 설정해줍니다.

20. namenode의 호스트정보, jobtracker의 정보를 설정해줍니다.

21. Hadoop 설정파일에 oozie 프록시를 설정하여 줍니다.

22. hadoop의 core-site.xml파일을 설정합니다.

아래의 내용을 추가합니다. 

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>NameNode</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>root</value>

</proeprty>

23. Hadoop이 실행 중 이라면 재시작을 하고, Hadoop이 중지 중이라면 시작을 합니다.

24. Hadoop을 시작합니다.

25. Oozie를 시작합니다.

26. example job을 실행합니다.

27. 웹콘솔 화면에서 job의 실행을 확인합니다.

http://namenode:11000/oozie

 설치참고 - http://rwkim.blogspot.kr/2013/08/oozie.html#!/2013/08/oozie.html

--------------------------------------------------------------------------

제가 Oozie를 설치 중 아래와 같이 Error가 발생하였고, 해결한 방법입니다.

error e0902 e0902 exception occured : [unauthorized connection for super-user: root from IP

hadoop core-site.xml 파일의

host에 host네임이나 IP주소를 적는다

error: IO_ERROR: java.net.ConnectException

포트가 충돌나는 것일 가능이 큼

포트 확인 후 안 쓰는 포트나 11000 포트를 사용하는 프로세스를 종료한다.