Hee'World

하둡이란? • It is designed to scale up from single servers to thousands of machines, each offering library is a framework that allows for the distributed processing of local computation and storage - hadoop.aphache.org – - 하둡은 클러스터 환경에서 대량의 데이터를 분산처리,저장,관리를 지원하는 오픈소스 프레임워크. - 구글 파일 시스템을 대체할 수 있는 HDFS(Hadoop Distributed File System )와 MapReduce를 구현한 것이다. 하둡의 장단점 Strengths - 오픈소스로 라이선스에 대한 비용 부담 적음 - ..

2013/08/07 - hadoop.apache.org - • 1.1.X - current stable version, 1.1 release • 1.2.X - current beta version, 1.2 release • 2.X.X - current alpha version • 0.23.X - simmilar to 2.X.X but missing NN HA(NameNode High Availability ) • 0.22.X - does not include security • 0.20.203.X - old legacy stable version • 0.20.X - old legacy version 현재 stable 버전은 1.1.X 버전이네요.

하둡에코시스템. ver 1.0 퍼가실땐 출처를 남겨주세요~!!!

CentOS 6.4 64bit 머신에 R 설치 하는 방법입니다.

MapReduce는 구글에서 분산 컴퓨팅을 지원하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크다. 이 프레임워크는 페타바이트 이상의 대용량 데이터를 신뢰할 수 없는 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발되었다. 이 프레임워크는 함수형 프로그래밍에서 일반적으로 사용되는 Map과 Reduce라는 함수 기반으로 주로 구성된다. 현재 MapReduce는 Java와 C++, 그리고 기타 언어에서 적용이 가능하도록 작성되었다. - 위키백과 - •MapReduce Job(맵리듀스는 잡job 이라는 단위로 관리된다.) - 맵 태스크의 일 •데이터를 적재, 구문분석, 변환, 필터링 - 리듀스 태스크의 일 •맵 태스크 출력의 일부분을 처리, •데이터를 분류하고 취합하기 위해..

PIG 설치하기 입니다. 1. PIG를 다운로드 합니다. 웹브라우저를 통하여 다운로드 하거나 wget 명령어를 이용하여 다운로드 합니다. wget http://apache.mirror.cdnetworks.com/pig/pig-0.11.1/pig-0.11.1.tar.gz 2. 다운로드 한 PIG파일을 압축 해제 합니다. tar xfvzp pig-0.11.1.tar.gz 3. 압축 해제판 디렉토리를 원하는 경로로 이동합니다. 4. 이동하였다면 vi 편집기를 이용하여 리눅스 환경 설정을 합니다. vi /etc/profile 5. export PIG_HOME=/usr/local/pig

-- 출처 http://blrunner.com/18 -- -- 출처 http://blog.acronym.co.kr/372 -- Pig 야후에서 개발되었으나 현재는 아파치 프로젝트에 속해있습니다. 복잡한 MapReduce 프로그래밍을 대체할 Pig Latin이라는 자체 언어를 제공합니다. MapReduce API를 매우 단순화시키고, SQL과 유사한 형태로 설계됐습니다. SQL과 유사하기만 할 뿐, 기존 SQL 지식을 활용하는 것이 어려운 편입니다. (공식 사이트: http://pig.apache.org) 피그는 대용량 데이터셋을 좀 더 고차원적으로 처리할 수 있도록 합니다. 맵리듀스에서 처리할 수 없는 부분들을 지원하는데, 조인과 같은 연산이 대표적인 예 입니다. 즉, 피그는 다중 값과 중첩된 형태를 보..