Hee'World

Introduction Tajo is a relational and distributed data warehouse system for Hadoop. Tajo is designed for low-latency and scalable ad-hoc queries, online aggregation and ETL on large-data sets by leveraging advanced database techniques. It supports SQL standards. Tajo uses HDFS as a primary storage layer and has its own query engine which allows direct control of distributed execution and data fl..

이제 그나마 빅데이터라는 친구와 나만 친숙해진 듯 하며(ㅋㅋ), 더욱 깊이 있게 빅데이터와 친구가 될 수 있도록 한걸음 더 나아가야 한다. 성과발표회에 오신분들 모두 감사드리며, 발표회를 주최해 주신 운영자님에게도 감사를 드린다. 발표 장소를 대여 해 주신 DB진흥원 직원분들에게도 감사를 드립니다. 성과 발표회 발표자(a90542, bklee, jacob, 1004jonghee)의 발표 모습입니다. 수고하셨습니다 ^^

맵리듀스 프로그래밍 중 FileInputFormat의 다른 유형들 입니다. TextInputFormat 텍스트 파일을 분석 할때 사용하며, 키는 라인번호, 값은 라인의 내용 입니다. KeyValueFormat 라인번호가 아닌 임의의 키값을 지정해서 키와 값의 목록으로 사용 NLineInputFormat 입력 받을 텍스트 파일의 라인수를 제한할때 DeleGatingInputFormat 여러 개의 서로 다른 입력 포맷을 사용하는 경우에 각 경로에 대한 작업을 위임 CombineFileInputFormat 위에 InputFormat 들은 파일당 스플릿을 생성하지만 CombineFileInputFormat은 여러 개의 파일을 스플릿으로 묶어서 사용. SequenceFileInputFormat 시퀀스 파일을 입력..

MPI : 메시지 전달 인터페이스(Message Passing Interface, MPI) - 분산 및 병렬 처리에서 정보의 교환에 대해 기술하는 표준이다. 병렬 처리에서 정보를 교환할 때 필요한 기본적인 기능들과 문법, 그리고 프로그래밍 API에 대해 기술하고 있지만 구체적인 프로토콜이나 각각의 구현에 대한 것에 대해서는 기술하지 않는, 하나의 거시적인 테두리를 정해주는 표준으로 이해할 수 있다. - 위키백과 - 토폴리지(topology) : 컴퓨터 케이블 및 기타 네트워크 구성요소의 배열 또는 물리적 배치 상태 토폴로지 선택 시 영향을 미치는 요소 - 네트워크에 필요한 장비수 - 장비 성능 - 네트워크 확장성 - 네트워크 관리 방법 버스형토폴로지 - 공통의 공유된 케이블에 연결된 장치 - 가장 간단하..

Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use! Storm has many use cases: realtime analytics, online machine learning, continuous computation, distrib..

레코드리더에 관한 설명입니다. 맵리듀스 레코드리더란? - Input data가 스플릿 되어 들어온 상태에서 Mapper가 Key, Value 형태로 받을 수 있도록 데이터를 Key/Value 형태로 전달해 주는 역활

현재 하둡 릴리즈 버전 정보입니다. •1.1.X - current stable version, 1.1 release •1.2.X - current beta version, 1.2 release •2.X.X - current alpha version •0.23.X - simmilar to 2.X.X but missing NN HA. •0.22.X - does not include security •0.20.203.X - old legacy stable version •0.20.X - old legacy version - hadoop.apache.org - 1.1.X - current stable version, 1.1 release

MySQL에 있는 데이터를 Sqoop을 통하여 HBase로 전송하는 글입니다. 1. 먼저 HBASE와 SQOOP의 환경변수를 설정하여 줍니다. export HBASE_HOME=/usr/local/hbase export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin 2. HBASE lib 폴더 밑에 mysql-connector jar 파일을 저장합니다. 3. 전송할 MySQL의 데이터를 확인합니다. 4. Sqoop 명령어를 입력합니다. ./sqoop import --connect jdbc:mysql://MySQL_SERVER_ADDRESS:PORT/DB --username db_user_name --password..