Hee'World

1. www.rstudio.com에 접속하여 상단에 RStudio IDE를 클릭합니다. 2. 우측에 보이는 Download RStudio를 클릭합니다. 3. 두가지 버전을 다운 받을 수 있습니다. 실습 및 데탑용과 다수의 사용자들이 사용 할 수 있는 R Server 버전이 존재 합니다. 저는 RStudio Desktop용을 받았습니다. 둘 중에 위에 것을 받으면 됩니다. 4. 3번에서 클릭을 하게 되면 여러버전을 다운 받을 수 있는 페이지로 이동합니다. 여기서 Recommanded Your System이라고 자신의 데탑의 OS버전에 맞는 버전을 추천해 줍니다. 여기 목록을 다운로드 합니다. 5. 다운 받을 설치 파일을 더블클릭하여 설치를 진행합니다. 6. RStudio를 설치할 경로를 지정하고 다음을 선..

CentOS에 MySQL을 설치합니다!

트위터 '스톰' 아파치재단 인큐베이터 선정 트위터가 개발한 실시간 데이터 프로세싱 기술 스톰이 아파치재단 인큐베이터 프로그램에 등록됐다. 지난 19일 아파치재단에서 실시된 인큐베이터 프로그램 선정 투표에서 '스톰(Storm)'이 최종 선정됐다. 스톰은 트위터가 지난해 9월 내놓은 오픈소스 소프트웨어(SW)로, 대용량 데이터를 실시간으로 분석할 수 있게 해주는 기술이다. 하둡이 배치분석에 특화된 대용량 분산처리 시스템이라면, 스톰은 실시간 분석에 특화된 분선처리 시스템이다. 하둡의 실시간 분석 성능 부족을 보완하기 위해 트위터 내 개발자조직이 만들어냈다. 스톰 프로젝트 의장인 네이선 마르츠는 "스톰은 맵리듀스가 병렬 배치 프로세싱을 쉽게 작성하는 것처럼 실시간 분야의 구멍을 메우는 SW"라며 "실시간 프로..

MongoDB CRUD Introduction¶MongoDB stores data in the form of documents, which are JSON-like field and value pairs. Documents are analogous to structures in programming languages that associate keys with values, where keys may nest other pairs of keys and values (e.g. dictionaries, hashes, maps, and associative arrays). Formally, MongoDB documents are BSON documents, which is a binary representat..

package org.apache.hadoop.mapreduce; import java.io.IOException;import org.apache.hadoop.conf.Configuration; public class Mapper{ protected void setup(Mapper.Context context) throws IOException, InterruptedException { }// protected void setup(Mapper.Context context) : 이 메소드는 map 메소드가 호출되기 전에 먼저 딱 한번 호출되는 메소드로 map 메소드에서 필요한 리소스를 여기서 할당하거나 map에서 필요한 선행 작업을 여기서 수행합니다. protected void map(KEYIN key, ..

- Combiner - Mapper의 중간 출력 결과를 받아서 리듀스에게 전달해주는 기능. - Mapper와 Reducer 사이의 셔플할 데이터의 양을 줄이는데에 도움을 준다. - 하지만 컴바이너를 사용 할 수 없는 맵리듀스 패턴이 존재하기도 한다.(맵리듀스 디자인 고려)

하둡 가상 분산 모드를 설치 하겠습니다. 하둡 가상 분산 모드는 한대의 피씨 안에 네임노드,세컨더리노드,데이터노드,잡트래커,태스크트래커의 데몬을 모두 올려 사용 하는 모드 입니다. 1. 자바 설치 ( 자바 설치는 저의 하둡완전분산모드 설치란에 보시면 있습니다.) 2. ssh 설정하기 ssh-keygen -t rsa를 입력하고 ssh키를 생성합니다. 3. .ssh 디렉토리에 들어가서 id_rsa.pub 파일을 authorized_keys 파일로 복사하여 생성합니다. 4. /etc/hosts 파일의 호스트를 추가 합니다. 5. /etc/profile에 JAVA_HOME,HADOOP_HOME(설치되거나 설치하려는 디렉토리)을 추가합니다. PATH 설정도 추가합니다. 6. 다운 받은 하둡 파일을 압축 해제 후 ..