일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- spark
- 빅데이터
- 그래프 질의언어
- 그래프 에코시스템
- graph
- graph database
- Python
- TensorFlow
- 그래프
- GDB
- 연합학습
- GSQL
- 인공지능
- 딥러닝
- Graph Ecosystem
- Federated Learning
- 분산 병렬 처리
- 그래프 데이터베이스
- RDD
- SQL
- Cypher
- Neo4j
- GraphX
- BigData
- SparkML
- DeepLearning
- r
- TigerGraph
- Graph Tech
- RStudio
- Today
- Total
Hee'World
[1004jonghee]Zookeeper 설치하기 본문
먼저 ZOOKEEPER란?
분산 환경에서 서버들간에 상호 조정이 필요한 다양한 서비스를 제공하는 시스템입니다. 첫째, 하나의 서버에만 서비스가 집중되지 않도록, 서비스를 알맞게 분산하여 동시에 처리하게 해줍니다. 둘째, 하나의 서버에서 처리한 결과를 다른 서버들과도 동기화하여 데이터의 안정성을 보장해줍니다. 셋째, 운영(active) 서버가 문제가 발생해서 서비스를 제공할 수 없을 경우, 다른 대기 중인 서버를 운영서버로 바꿔서 서비스가 중지 없이 제공되게 해줍니다. 넷째, 분산 환경을 구성하는 서버들의 환경설정을 통합적으로 관리해줍니다. (공식 사이트: http://zookeeper.apache.org/)
이제 ZOOKEEPER를 설치해보겠습니다.
네임노드에서 먼저 설치 및 환경설정을 한 뒤 배포 합니다.
먼저 zookeeper를 다운로드 합니다.
홈페이지에 들어가셔서 다운로드를 하시거나 wget 명령어로 다운로드 하셔도 됩니다.
다음은 다운로드한 주키퍼를 압축을 해제 합니다.
다음은 압축을 해제한 zookeeper를 원하는 경로에 이동 후 zookeeper 환경 설정을 합니다.
zookeeper 폴더 안에 conf 폴더 안에 있는 zoo_sample.cfg 파일이 설정 할 파일입니다.
여기서 제가 화면을 캡쳐를 못했는데
zoo_sample.cfg 파일을 zoo.cfg 라는 파일로 복사 하여 줍니다!ㅠㅠ
cp -rp zoo_sample.cfg zoo.cfg <-- 이렇게 명령어를 입력합니다.
그러면 zoo.cfg 파일이 생성되고 zoo.cfg 파일을 vi 편집기를 이용하여 환경설정을 해줍니다.
이 파일은 vi 편집기를 이용하여 환경 설정을 하도록 하겠습니다.
다음 아래의 내용을 추가 합니다.
dataDir=/home/hadoop/zk_data
맨 하단 부분에는
server.1=namenode IP:2888:3888
server.2=secondarynodeIP:2888:3888
server.3=datanode1 IP:2888:3888
server.4=datanode2 IP:2888:3888
파일의 내용을 다 추가 하셨다면 /etc/profile 의 환경변수를 추가하여 줍니다.(4대의 노드 모두 똑같이 설정합니다.)
root@NameNode local]# vi /etc/profile 을 입력하여 줍니다.
이 곳에서
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPR_HOME/bin
이렇게 추가 하여 줍니다.
내용을 다 입력하였으면 source /etc/profile를 입력하여 적용 시켜 줍니다.
환경설정을 다 하셨으면 이제 zookeeper 파일을 압축 한 뒤 배포 합니다.
zookeeper폴더의 상위로 가서 압축을 진행합니다.
압축이 되었다면 이제 각 하위 노드에 파일을 배포 합니다.
제대로 전송이 되었는지 확인을 합니다.
확인이 되었으면 압축을 풀어 줍니다.
그다음 폴더를 하나 생성하여 줍니다.(4대 모두 똑같이 진행합니다.)
mkdir /home/hadoop/zk_data <--- 이렇게 입력합니다.
이 폴더 안에서 myid 라는 파일을 생성하여 줍니다.
그리고 zoo.cfg 파일안에 적었던
server.1=namenode IP:2888:3888
server.2=secondarynodeIP:2888:3888
server.3=datanode1 IP:2888:3888
server.4=datanode2 IP:2888:3888
이 내용에 맞게 server.1 네임노드의 myid 파일에는 1을 입력하고
server.2 세컨더리노드의 myid 파일에는 2를
server.3 데이터노드1 의 myid 파일에는 3을
server.4 데이터노드2 의 myid 파일에는 4를 입력하고 생성합니다.
myid 파일까지 모두 끝나셨다면 이제 zookeeper 데몬을 실행 할 차례입니다.(4대의 노드 모두 실행)
zookeeepr 폴더 안에 bin 폴더 안에 있는
zkServer.sh 파일을 실행해 주시면 됩니다.
bin 폴더까지 들어가셔서
zkServer.sh start <-- 이렇게 입력하여 줍니다.
실행하시고 jps를 통하여 실행목록에
QuorumPeerMain <-- 이 데몬이 있다면 성공하신 것입니다.
마지막으로 zookeeeper에 접속해보겠습니다.
bin폴더 안에 zkCli.sh를 실행하시면 됩니다.
여기까지 접속이 되셨다면 성공하신겁니다.
빠져 나오실때는 quit 입력하시면 됩니다.
zookeeeper 설치는 여기까지 입니다~^^