Hee'World

처음에 리눅스조차 설치하는게 힘들었는데... 저같이 고생하지 않았으면 좋겠습니다. 먼저 VMware를 받아 설치를 합니다.(VMware 설치과정은 생략하도록 하겠습니다.) WMware는 네이버같은 곳에서 받아서 설치 하시면 됩니다! 그다음은 CentOS를 받도록 합니다. CentOS 공식 홈페에지에 들어가셔서 Mirror 사이트에 들어가셔서 받으시면 됩니다. 여기서, 저는 CentOS-6.4-x86_64-netinstall.iso 를 받았습니다. 이 파일은 64bit 버전이면서 인터넷을 이용하여 CentOS를 설치하는 파일입니다. 32bit 머신을 사용 중이라면 다운 받는 경로에서 i368 경로로 들어가시면 됩니다. (ex, http://ftp.daum.net/centos/6.4/isos/i386/Cen..

먼저, HBASE란? HDFS 기반의 칼럼 기반 데이터 베이스입니다. 구글의 BigTable 논문을 기반으로 개발됐습니다. 실시간 랜덤 조회 및 업데이트가 가능하며, 각 각의 프로세스들은 개인의 데이터를 비동기적으로 업데이트할 수 있습니다. 단, MapReduce는 일괄 처리 방식으로 수행됩니다. 트위터, 야후, 어도비 같은 해외 업체들이 HBase를 사용하고 있으며, 국내에서는 얼마 전 NHN이 모바일 메신저인 라인에 HBase를 적용한 시스템 아키텍처를 발표하였습니다. (공식 사이트: http://hbase.apache.org) 설치를 시작하겠습니다. 설치버전은 HBASE 0.94.8 이며, 네임노드에서 다운을 받아 환경설정을 한 뒤에 배포하는 방식입니다. HBASE를 다운로드 합니다. 웹브라우저로 ..

먼저 ZOOKEEPER란? 분산 환경에서 서버들간에 상호 조정이 필요한 다양한 서비스를 제공하는 시스템입니다. 첫째, 하나의 서버에만 서비스가 집중되지 않도록, 서비스를 알맞게 분산하여 동시에 처리하게 해줍니다. 둘째, 하나의 서버에서 처리한 결과를 다른 서버들과도 동기화하여 데이터의 안정성을 보장해줍니다. 셋째, 운영(active) 서버가 문제가 발생해서 서비스를 제공할 수 없을 경우, 다른 대기 중인 서버를 운영서버로 바꿔서 서비스가 중지 없이 제공되게 해줍니다. 넷째, 분산 환경을 구성하는 서버들의 환경설정을 통합적으로 관리해줍니다. (공식 사이트: http://zookeeper.apache.org/) 이제 ZOOKEEPER를 설치해보겠습니다. 네임노드에서 먼저 설치 및 환경설정을 한 뒤 배포 합니..

먼저 저는 4대의 머신으로 샤딩과 리플리카셋을 구성하였습니다. 1번 노드는 Shard01&ReplicaSet(Primary, secondary, arbiter), config server 01, mongos 2번 노드는 Shard02, config server 02 3번 노드는 Shard03&ReplicaSet(Primary, secondary, arbiter), config server 03 4번 노드는 Shard04&ReplicaSet(Primary, secondary, arbiter) 샤딩과 리플리카셋을 같은 머신에서 port 번호만 다르게 주어서 구성하였습니다. 꼭 같은 머신에서 할 필요는 없으며 머신의 수가 많다면 샤딩과 리플리카셋 구성을 물리적으로 다른 머신에 구성하셔도 됩니다. 대신, 샤딩되..

stop-hbase.sh를 실행시에 프로세스가 죽지 않고 계쏙해서 ..............................................

-- 출처 http://blrunner.com/18 -- 하둡은 비즈니스에 효율적으로 적용할 수 있도록 다양한 서브 프로젝트가 제공됩니다. 이러한 서브 프로젝트들이 상용화되면서, 하둡 에코 시스템(Hadoop ECO system)이 구성됐습니다. 참고로 하둡 에코 시스템은 하둡 생태계라고 표현되기도 합니다. 아래 그림은 하둡 에코 시스템을 나타낸 것입니다. 분산 데이터를 저장하는 HDFS와 분석 데이터를 처리하는 MapReduce가 하둡 코어 프로젝트에 해당하며, 나머지 프로젝트는 모두 하둡의 서브 프로젝트입니다. 아파치 하둡 프로젝트에 속하는 프로젝트도 있지만, 업체에서 자사의 솔루션으로 이용하다가 오픈 소스로 공개한 프로젝트도 있습니다. 각 각의 서브 프로젝트들의 특징은 다음과 같습니다. 1. Zoo..

먼저 몽고디비는 - Windows 32 /64Bit - Linux 32 / 64 Bit - Unix Solaris 32 / 64 Bit - Max OS X-32 / 64 Bit 이렇게 운영체제를 지원하고 있습니다 MongoDB를 설치해보겠습니다. www.mongodb.org\ 여기 몽고디비 공식 홈페이지에 접속합니다. 그 후, 가운에 DOWNLOADS 를 클릭하여 다운 페이지로 이동합니다. 여기서 각자, 운영 머신의 환경에 맞게 다운로드를 합니다. 저는 Windows 64 bit 버전을 다운로드 하였습니다. 다운을 하셔서 보게 되면 몽고디비는 압축 파일 형태로 받아지게 됩니다. 몽고디비의 설치는 다름 아닌! 압축 풀기 입니다. 저는 C드라이브에 mongodb라는 폴더를 만들어서 그 안에 압축을 해제 하였..

먼저 저는 VMware에 CentOS 6.4 버전으로 4대의 가상 머신을 만들어서 설치를 하였습니다. 1번 머신은 NameNode 2번 머신은 DataNode01, SecondaryNode 3번 머신은 DataNode02 4번 머신은 DataNode03 이렇게 구성을 하였습니다. 바로 설치에 들어가겠습니다. 먼저 하둡 설치 전에 해야 할 설정 및 설치가 있습니다. OraclJDK설치와 SSH 설정, hosts파일 설정 ,profile설정 입니다. CentOS6.4를 설치하면 디폴트로 OpenJDK가 설치되어 있습니다. 자세히 아는 것은 아니지만 OpenJDK는 오픈소스로 구현된 JDK 입니다. 자주 업데이트도 되고 안정성 또한 떨어진다고 알고 있습니다. 반면 OracleJDK는 OpenJDK보다는 안정성..