[1004jonghee]RDB -> Sqoop -> HDFS -> HBase

MySQL에 있는 데이터를 Sqoop을 통하여 HBase로 전송하는 글입니다.

 

 

1. 먼저 HBASE와 SQOOP의 환경변수를 설정하여 줍니다.

export HBASE_HOME=/usr/local/hbase

export SQOOP_HOME=/usr/local/sqoop

export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin

 

 

2. HBASE lib 폴더 밑에 mysql-connector jar 파일을 저장합니다.

 

 

3. 전송할 MySQL의 데이터를 확인합니다.

 

 

4. Sqoop 명령어를 입력합니다.

./sqoop import --connect jdbc:mysql://MySQL_SERVER_ADDRESS:PORT/DB --username db_user_name --password db_user_password --table MySQL_table

--hbase-create-table(hbase에 테이블을 생성합니다.) --hbase-table (생성할 hbase table명) --column-family (컴럼패밀리 명)

 

5. Sqoop은 MapReduce 작업을 통하여 데이터를 가져옵니다.

 

6. Sqoop의 작업 끝합니다. HBase에서 확인해 보세요

 

7. list 명령어를 입력하면 Sqoop 명령에 입력했던 테이블이 생성됩니다.

 

8. scan '테이블명' 이렇게 명령어를 입력하면 t2에 데이터를 볼 수 있으며, 정상적으로 전송이 된 것을 확인 할  수 있습니다.