Hee'World

머하웃 완벽가이드로 공부하던 중 그룹렌즈 사이트(www.grouplens.org/node/73)가 접속이 안되어서 열심히 검색을 하여 자료가 있는 곳을 찾아냈다... 1 .http://datahub.io/dataset/movielens/resource/b9792332-c0aa-44ee-b7aa-faa979b1acf0 2 .http://datahub.io/dataset/movielens/resource/e2117a93-4fd4-41c3-b0e8-6a8ff8b1ad09 위에 링크로 들어가서 url을 클릭하면 압축파일 형태로 받아지게 된다. 이 압축 파일을 압축해제 하고 사용하면 된다.... 열공!

Apache Oozie Workflow Scheduler for HadoopOverviewOozie is a workflow scheduler system to manage Apache Hadoop jobs.Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the b..

[Chukwa]

[설치환경]CentOS 6.5Hadoop 1.2.1Ganglia 3.1.7 Hadoop - Cluster구성을 다음과 같이 하였습니다. 네임노트 (namenode : 1대 데이터노드 (secondarynamenode, datanode02, datanode03) 3대 Ganglia 설치 namenode = 메타 데몬(gmetad) + 모니터 데몬(gmond) 설치 secondarynamenode, datanode02, datanode03 은 = 모니터 데몬(gmond) 설치 namenode 는 yum 으로 아파치 웹서버가 설치되어 있어야 하며, 아파치가 컴파일 설치되었을 경우는 "ganglia-web" 설치를 위하여 추가 컴파일 필요하기 때문에 yum 으로 설치namenode를 Ganglia 메터 노드로 ..

갱글리아란? 분산 모니터링 시스템, 분산 클러스터 상태를 모니터리하는 도구이다. Ganglia는 Cacti, Nagios등 Hadoop_Cluster 모니터링을 가능하게 하는 모니터링 소스이다. 메모리, CPU, 디스크, 네트워크 사용량 뿐만 아니라, Hadoop과 dfs, mapred 와 관련된 200여개 이상의 메트릭 정보를 모니터링 할 수 있다. * Ganglia Architecture * Ganglia 구성요소 - ganglia Monitor Daemon (gmond) 모니터링을 원하는 노드에 설치가 되어 진다. gmond데몬은 노드의 정보를 수집하여,수집된 노드의 시스템 상태를 gmetad에게 XML 형식으로 전송한다. - ganglia Meta Daemon (gmetad) 여러 gmond데몬에..

하둡2.0 마침내 완성 '운영체제 등장' 마침내 아파치 하둡 2.0이 완성됐다. 하둡 생태계의 운영체제가 제모습을 갖추고 빅데이터 기술의 대대적 변화를 예고했다. 16일(현지시간) 미국 지디넷 등 외신에 따르면, 아파치 소프트웨어 재단은 '아파치 하둡 2.0 GA버전의 완성을 알렸다. 하둡 2.0은 엔진에 얀(YARN)을 포함한다. YARN은 'yet another resource negotiator'의 약어로 맵리듀스 2.0으로도 불린다. 하둡분산파일시스테(HDFS) 상위에 존재하는 리소스 매니저로 빅데이터용 애플리케이션과 다양한 애플리케이션의 대규모 분산형 운영체제로 작동한다. 얀은 하둡 1.0에서 맵리듀스 내에 존재하던 관리 요소를 밖으로 빼냈다. 맵리듀스의 주요 기능을 작업 일정관리/모니터링과 자..

트위터 '스톰' 아파치재단 인큐베이터 선정 트위터가 개발한 실시간 데이터 프로세싱 기술 스톰이 아파치재단 인큐베이터 프로그램에 등록됐다. 지난 19일 아파치재단에서 실시된 인큐베이터 프로그램 선정 투표에서 '스톰(Storm)'이 최종 선정됐다. 스톰은 트위터가 지난해 9월 내놓은 오픈소스 소프트웨어(SW)로, 대용량 데이터를 실시간으로 분석할 수 있게 해주는 기술이다. 하둡이 배치분석에 특화된 대용량 분산처리 시스템이라면, 스톰은 실시간 분석에 특화된 분선처리 시스템이다. 하둡의 실시간 분석 성능 부족을 보완하기 위해 트위터 내 개발자조직이 만들어냈다. 스톰 프로젝트 의장인 네이선 마르츠는 "스톰은 맵리듀스가 병렬 배치 프로세싱을 쉽게 작성하는 것처럼 실시간 분야의 구멍을 메우는 SW"라며 "실시간 프로..

MongoDB CRUD Introduction¶MongoDB stores data in the form of documents, which are JSON-like field and value pairs. Documents are analogous to structures in programming languages that associate keys with values, where keys may nest other pairs of keys and values (e.g. dictionaries, hashes, maps, and associative arrays). Formally, MongoDB documents are BSON documents, which is a binary representat..