Hee'World

-- 출처 http://blrunner.com/18 -- -- 출처 http://blog.acronym.co.kr/372 -- Pig 야후에서 개발되었으나 현재는 아파치 프로젝트에 속해있습니다. 복잡한 MapReduce 프로그래밍을 대체할 Pig Latin이라는 자체 언어를 제공합니다. MapReduce API를 매우 단순화시키고, SQL과 유사한 형태로 설계됐습니다. SQL과 유사하기만 할 뿐, 기존 SQL 지식을 활용하는 것이 어려운 편입니다. (공식 사이트: http://pig.apache.org) 피그는 대용량 데이터셋을 좀 더 고차원적으로 처리할 수 있도록 합니다. 맵리듀스에서 처리할 수 없는 부분들을 지원하는데, 조인과 같은 연산이 대표적인 예 입니다. 즉, 피그는 다중 값과 중첩된 형태를 보..

Flume NG 설치 및 로그 수집 하기 입니다. 각각 아래와 같이 구성하였습니다. 0번 HDFS

Flume OG version 설치 방법입니다. Flume OG version은 cloudera 홈페이지에 올라와 있습니다. wget 명령어로 다운도르 합니다. 다운로드한 압축파일을 압축 해제 후 원하는 경로에 이동합니다. [ root@NameNode ~]# tar xfvzp flume-0.9.4-cdh3u3.tar.gz [ root@NameNode ~]# mv flume-0.9.4 /usr/local/flume 그다음 vi /etc/profile을 입력하여 환경설정을 합니다. export FLUME_CONF_DIR=/usr/local/flume/conf export FLUME_HOME=/usr/local/flume 을 추가로 입력후 source /etc/profile 을 입력하여 적용시킵니다. 그다음 ..

MySQL을 메타스토어로 구성하였으며, MySQL이 미리 설치가 되어 있어야 한다. 하이브 서비스의 설정을 세부적으로 수정하고 싶다면 conf디렉터리에 hive-site.xml 파일을 정의해야 한다. 하이브는 기본적으로 conf 디렉터리에 있는 hive-default.xml 파일을 이용해 환경설정을 진행한다. hive-site.xml에 hive-default.xml과 같은 속성이 있다면 hive-default.xml에 있는 속성을 무시하고, hive-site.xml에 정의도니 속성을 사용한다. 하이브의 중요 환경 설정 속성 속성 내용 hive.metastore.warehouse.dir 데이터웨어 하우스를 저장하는 기본 디렉터리 입니다. 기본값은 /user/hive/warehouse 이다 hive.exec..

Flume이란? -클라우데라에서 개발된 오픈 소스 로그 수집 소프트웨어. -데이터수집을 위한 프레임워크로 다양한 로그 데이터 수집 및 모니터링이 가능하며, 실시간 전송을 지원한다. -자바로 구현되어 있기 때문에 다양한 운영체제에 설치가 가능하다. -flume은 장애에 쉽게 대처 가능하며, 로그 유실에 대한 신뢰 수준을 상황에 맞게 변경할 수 있을 뿐만 아니라, 장애 발생시 다양한 복구 메커니즘을 제공한다. -실시간으로 로그를 분석하는 어플리케이션을 개발할 수 있도록, 간단하며 확장 가능한 데이터 모델을 사용한다. -Flume OG Version : 0.9X ~ -Flume NG Version : 1.X ~ --출처는 어디서 보았는지 메모를 못하였습니다-- Flume의 특징 1.신뢰성 1) 지속적으로 실패..

Sqoop을 설치하기전에 Sqoop 이란? 대용량 데이터 전송 솔루션이며, 올해 4월 아파치의 top-level 프로젝트가 됐습니다. Sqoop은 HDFS, RDBMS, DW, NoSQL등 다양한 저장소에 대용량 데이터를 신속하게 전송할 수 있는 방법을 제공합니다. Oracle, MS-SQL, DB2 등과 같은 상용 RDBMS와 MySQL, PostgresSQL과 같은 오픈소스 RDBMS등을 지원합니다. (공식 사이트: http://sqoop.apache.org) Sqoop 설치는 생각보다 간단합니다. 먼저 Sqoop을 다운로드 합니다. FireFox를 이용하여 다운로드 하시거나 wget 명령어를 이용하여 다운로드 합니다. Sqoop을 다운로드 하셨다면 압축을 해제 합니다. 그 다음 압축해제 한 디렉토리..

-- 출처 wikibooks"시작하세요 하둡프로그래밍"-- HIVE는 HIVE QL 이라는 SQL문과 유사한 언어를 사용한다. 하지만 기존의 SQL문과는 차이가 있다. 1. 하이브에서 사용하는 데이터가 HDFS에 저장되는데, HDFS가 한번 저장한 파일은 수정할 수 없기 때문에 UPDATE와 DELETE를 사용할 수 없다. 같은 이유로 INSERT도 비어 있는 테이블에 입력을 하거나, 이미 입력된 데이터를 덮어 쓰는 경우에만 가능하다. 그래서 HIVESQL은 "INSERT OVERWRITE"라는 키워드를 사용하게 된다. 2. SQL은 어떠한 절에서도 서브쿼리를 사용할 수 있지만, 하이브QL은 FROM 절에서만 서브쿼리를 사용할 수 있다. 3. SQL의 뷰는 업데이트할 수 있고, 구체화된 뷰 또는 비구체화..

먼저 HIVE란? Hive 하둡 기반의 데이터웨어하우징용 솔루션입니다. 페이스북에서 개발됐으며, 오픈 소스로 공개되며 주목을 받은 기술입니다. SQL과 매우 유사한 HiveQL이라는 쿼리를 제공합니다. 그래서 자바를 모르는 데이터 분석가들도 쉽게 하둡 데이터를 분석할 수 있게 도와줍니다. HiveQL은 내부적으로 MapReduce 잡으로 변환되어 실행됩니다. (공식 사이트: http://hive.apache.org) 이제 HIVE를 설치해보겠습니다. 먼저 HIVE를 다운로드 합니다. 홈페이지에서 다운 받으셔도 되고 wget 명령어를 이용하여 받으셔도 됩니다. wget http://apache.mirror.cdnetworks.com/hive/hive-0.11.0.tar.gz 다운을 받으셨으면 다운 받은 압..