Hee'World

ggplot2 패키지를 로드하려다가 아래와 같은 에러 발생하여 ggplot2패키지를 로드 못하는 상황이 발생하였다. ------------------------------------------------------------------> library(ggplot2) Error in loadNamespace(i, c(lib.loc, .libPaths())) : ‘colorspace’ 라는 이름의 패키지는 없습니다 추가정보:경고 메시지가 손실되었습니다 패키지 ‘ggplot2’ 는 R 버전 2.15.3 에서 작성되었습니다 에러:'‘ggplot2’' 에 대한 패키지/네임스페이스 로드가 실패했습니다 >--------------------------------------------------------------..

Outlier- 극단치(outlier) : 통계적 자료분석의 결과를 왜곡시키거나, 자료 분석의 적절성을 위협하는 변수값 또는 사례를 말한다. 기술통계학적 기법에서는 분포의 집중경향치의 값을 왜곡시키거나, 상관계수 추정치의 값을 왜곡시키는 개체 또는 변수의 값을 의미한다. 추리통계에서는 모수추정치의 값을 왜곡시키는 개체 또는 변수의 값이며, 통상적으로 표준화된 잔차의 분석에서 개체의 변수값이 0(평균)으로부터 ±3 표준편차밖에 위치하는 사례나, 일반적인 경향에서 벗어나는 사례를 지칭한다.[네이버 지식백과] 극단치 [極端値, outlier]

Apache Oozie Workflow Scheduler for HadoopOverviewOozie is a workflow scheduler system to manage Apache Hadoop jobs.Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the b..

1. 확률 이론 - 확률 이론은 통계학의 바탕이며, 경험 혹은 실험의 결과로 특정한 사전(Event)이나 결과가 발생할 가능성2. 확률 분포 - 확률분포는 확률번수가 특정한 값을 가질 확률, 즉 상대적 가능성을 나타낸 것으로 모든 가능한 확률변수값과 그 값이 발생할 가능성인 확률 값을 도수분포표나 그래프로 나타낸 것이다.3. 확률 변수 - 특정한 값을 가질 수 있는 확률이 주어진 변수 - 이산확률변수 : 정수와 같이 명확한 값을 변수 값으로 함. 확률변수가 가질 수 있는 값의 수가 한정되어 그 수를 셀 수 있는 변수 - 연속확률변수 : 변수 값이 정수처럼 명확하지 못함. 확률변수가 연속량으로 표기되어 가능한 변수 값의 개수를 셀 수 없는 변수 - 인터넷자료 - R에는 확률, 확률분포, 확률변수를 다루는 ..

[Chukwa]

[설치환경]CentOS 6.5Hadoop 1.2.1Ganglia 3.1.7 Hadoop - Cluster구성을 다음과 같이 하였습니다. 네임노트 (namenode : 1대 데이터노드 (secondarynamenode, datanode02, datanode03) 3대 Ganglia 설치 namenode = 메타 데몬(gmetad) + 모니터 데몬(gmond) 설치 secondarynamenode, datanode02, datanode03 은 = 모니터 데몬(gmond) 설치 namenode 는 yum 으로 아파치 웹서버가 설치되어 있어야 하며, 아파치가 컴파일 설치되었을 경우는 "ganglia-web" 설치를 위하여 추가 컴파일 필요하기 때문에 yum 으로 설치namenode를 Ganglia 메터 노드로 ..

갱글리아란? 분산 모니터링 시스템, 분산 클러스터 상태를 모니터리하는 도구이다. Ganglia는 Cacti, Nagios등 Hadoop_Cluster 모니터링을 가능하게 하는 모니터링 소스이다. 메모리, CPU, 디스크, 네트워크 사용량 뿐만 아니라, Hadoop과 dfs, mapred 와 관련된 200여개 이상의 메트릭 정보를 모니터링 할 수 있다. * Ganglia Architecture * Ganglia 구성요소 - ganglia Monitor Daemon (gmond) 모니터링을 원하는 노드에 설치가 되어 진다. gmond데몬은 노드의 정보를 수집하여,수집된 노드의 시스템 상태를 gmetad에게 XML 형식으로 전송한다. - ganglia Meta Daemon (gmetad) 여러 gmond데몬에..

하둡2.0 마침내 완성 '운영체제 등장' 마침내 아파치 하둡 2.0이 완성됐다. 하둡 생태계의 운영체제가 제모습을 갖추고 빅데이터 기술의 대대적 변화를 예고했다. 16일(현지시간) 미국 지디넷 등 외신에 따르면, 아파치 소프트웨어 재단은 '아파치 하둡 2.0 GA버전의 완성을 알렸다. 하둡 2.0은 엔진에 얀(YARN)을 포함한다. YARN은 'yet another resource negotiator'의 약어로 맵리듀스 2.0으로도 불린다. 하둡분산파일시스테(HDFS) 상위에 존재하는 리소스 매니저로 빅데이터용 애플리케이션과 다양한 애플리케이션의 대규모 분산형 운영체제로 작동한다. 얀은 하둡 1.0에서 맵리듀스 내에 존재하던 관리 요소를 밖으로 빼냈다. 맵리듀스의 주요 기능을 작업 일정관리/모니터링과 자..