Hee'World

Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use! Storm has many use cases: realtime analytics, online machine learning, continuous computation, distrib..

레코드리더에 관한 설명입니다. 맵리듀스 레코드리더란? - Input data가 스플릿 되어 들어온 상태에서 Mapper가 Key, Value 형태로 받을 수 있도록 데이터를 Key/Value 형태로 전달해 주는 역활

현재 하둡 릴리즈 버전 정보입니다. •1.1.X - current stable version, 1.1 release •1.2.X - current beta version, 1.2 release •2.X.X - current alpha version •0.23.X - simmilar to 2.X.X but missing NN HA. •0.22.X - does not include security •0.20.203.X - old legacy stable version •0.20.X - old legacy version - hadoop.apache.org - 1.1.X - current stable version, 1.1 release

MySQL에 있는 데이터를 Sqoop을 통하여 HBase로 전송하는 글입니다. 1. 먼저 HBASE와 SQOOP의 환경변수를 설정하여 줍니다. export HBASE_HOME=/usr/local/hbase export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin 2. HBASE lib 폴더 밑에 mysql-connector jar 파일을 저장합니다. 3. 전송할 MySQL의 데이터를 확인합니다. 4. Sqoop 명령어를 입력합니다. ./sqoop import --connect jdbc:mysql://MySQL_SERVER_ADDRESS:PORT/DB --username db_user_name --password..

하둡이란? • It is designed to scale up from single servers to thousands of machines, each offering library is a framework that allows for the distributed processing of local computation and storage - hadoop.aphache.org – - 하둡은 클러스터 환경에서 대량의 데이터를 분산처리,저장,관리를 지원하는 오픈소스 프레임워크. - 구글 파일 시스템을 대체할 수 있는 HDFS(Hadoop Distributed File System )와 MapReduce를 구현한 것이다. 하둡의 장단점 Strengths - 오픈소스로 라이선스에 대한 비용 부담 적음 - ..

하둡에코시스템. ver 1.0 퍼가실땐 출처를 남겨주세요~!!!

MapReduce는 구글에서 분산 컴퓨팅을 지원하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크다. 이 프레임워크는 페타바이트 이상의 대용량 데이터를 신뢰할 수 없는 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발되었다. 이 프레임워크는 함수형 프로그래밍에서 일반적으로 사용되는 Map과 Reduce라는 함수 기반으로 주로 구성된다. 현재 MapReduce는 Java와 C++, 그리고 기타 언어에서 적용이 가능하도록 작성되었다. - 위키백과 - •MapReduce Job(맵리듀스는 잡job 이라는 단위로 관리된다.) - 맵 태스크의 일 •데이터를 적재, 구문분석, 변환, 필터링 - 리듀스 태스크의 일 •맵 태스크 출력의 일부분을 처리, •데이터를 분류하고 취합하기 위해..

PIG 설치하기 입니다. 1. PIG를 다운로드 합니다. 웹브라우저를 통하여 다운로드 하거나 wget 명령어를 이용하여 다운로드 합니다. wget http://apache.mirror.cdnetworks.com/pig/pig-0.11.1/pig-0.11.1.tar.gz 2. 다운로드 한 PIG파일을 압축 해제 합니다. tar xfvzp pig-0.11.1.tar.gz 3. 압축 해제판 디렉토리를 원하는 경로로 이동합니다. 4. 이동하였다면 vi 편집기를 이용하여 리눅스 환경 설정을 합니다. vi /etc/profile 5. export PIG_HOME=/usr/local/pig