관리 메뉴

Hee'World

Sqoop1과 Sqoop2의 비교 본문

BigData/Sqoop

Sqoop1과 Sqoop2의 비교

Jonghee Jeon 2014. 1. 29. 12:52

출처 : http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=176552&boardConfigUid=108&boardStep=0&categoryUid=

-------------------------------------------------------------------------------------------------------------

Apache Sqoop은 Sql to Hadoop의 의미로서, Apache Hadoop과 RDBMS 사이에 bulk data를 효율적이고 쉽게 옮길 수 있도록 디자인 된 도구이다. 

Sqoop은 2009년 첫 버전이 나온 후 2012년에 Apache Top Level Project가 되어 지속 발전 중이다. 현재 Apache Sqoop은 두 가지 버전으로 발전되고 있는데, Sqoop1 이라 불리는 클라이언트 방식과 Sqoop2라 불리는 기존 Sqoop1방식에 추가로 Server side 방식이 추가된 버전이다.

Sqoop1 / Sqoop2  간단비교

  Sqoop1 Sqoop2
 Overview
  • Client-side Install
  • Connectors 가 Local에 설치되어야 함
  • JDBC Driver는 접속하는 Local마다 설치 필요
  • CLI(Command Line Interface) 제공
  • Server-side install
  • Connector가 필요한 서버 한 곳에만 설치하여 연결 가능
  • 즉, JDBC Driver가 한 곳만 설치하면 됨
  • CLI 접속 외에도 Web 및 REST API를 통한 접속 가능
  • Workflow Manager인 Apaceh Oozie와 Rest API를 활용하여 결합이 용이함
  •  

     Outline Apache Sqoop1 Architecture Apache Sqoop2 Architecture
     Last Version 1.4.4 1.99.3

     

     Sqoop1과 Sqoop2의 가장 큰 변화는 서버 방식의 추가라 할 수 있으며, Sqoop1에서 불편(?)했던 JDBC Driver를 서버 한 곳에만 설치하면 되는 등 편의성이 높아 진점, 그리고, HTTP REST를 활용하여 보다 더 Apache Oozie와 integration 이 용이해 진 점이라 할 수 있다.

    'BigData > Sqoop' 카테고리의 다른 글

    [1004jonghee]RDB -> Sqoop -> HDFS -> HBase  (0) 2013.08.08
    [1004jonghee]Sqoop 설치하기  (0) 2013.07.13
    Comments