| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- 연합학습
- 빅데이터
- 딥러닝
- Federated Learning
- SQL
- Graph Tech
- GDB
- graph database
- DeepLearning
- 그래프 에코시스템
- r
- 인공지능
- SparkML
- GraphX
- BigData
- TigerGraph
- graph
- 그래프 질의언어
- TensorFlow
- 분산 병렬 처리
- 그래프
- Python
- Graph Ecosystem
- Cypher
- RDD
- spark
- RStudio
- Neo4j
- GSQL
- 그래프 데이터베이스
- Today
- Total
목록BigData/Sqoop (3)
Hee'World
출처 : http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=176552&boardConfigUid=108&boardStep=0&categoryUid=-------------------------------------------------------------------------------------------------------------Apache Sqoop은 Sql to Hadoop의 의미로서, Apache Hadoop과 RDBMS 사이에 bulk data를 효율적이고 쉽게 옮길 수 있도록 디자인 된 도구이다. Sqoop은 2009년 첫 버전이 나온 후 2012년에 Apache Top Level Project가 되어 지속 발전 중이..
[1004jonghee]RDB -> Sqoop -> HDFS -> HBase
MySQL에 있는 데이터를 Sqoop을 통하여 HBase로 전송하는 글입니다. 1. 먼저 HBASE와 SQOOP의 환경변수를 설정하여 줍니다. export HBASE_HOME=/usr/local/hbase export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin 2. HBASE lib 폴더 밑에 mysql-connector jar 파일을 저장합니다. 3. 전송할 MySQL의 데이터를 확인합니다. 4. Sqoop 명령어를 입력합니다. ./sqoop import --connect jdbc:mysql://MySQL_SERVER_ADDRESS:PORT/DB --username db_user_name --password..
[1004jonghee]Sqoop 설치하기
Sqoop을 설치하기전에 Sqoop 이란? 대용량 데이터 전송 솔루션이며, 올해 4월 아파치의 top-level 프로젝트가 됐습니다. Sqoop은 HDFS, RDBMS, DW, NoSQL등 다양한 저장소에 대용량 데이터를 신속하게 전송할 수 있는 방법을 제공합니다. Oracle, MS-SQL, DB2 등과 같은 상용 RDBMS와 MySQL, PostgresSQL과 같은 오픈소스 RDBMS등을 지원합니다. (공식 사이트: http://sqoop.apache.org) Sqoop 설치는 생각보다 간단합니다. 먼저 Sqoop을 다운로드 합니다. FireFox를 이용하여 다운로드 하시거나 wget 명령어를 이용하여 다운로드 합니다. Sqoop을 다운로드 하셨다면 압축을 해제 합니다. 그 다음 압축해제 한 디렉토리..