Hee'World

- 기술 스택 정리할 겸 끄적거려 보았는데, 예전에 비하면 하둡 또는 데이터 관련 오픈 기술들이 정말 많아졌다. 데이터가 정말 중요해진 느낌이다. 그래서 공부 할게 많아졌다. 하하...

Other Hadoop-related projects at Apache include:Ambari™: A web-based tool for provisioning, managing, and monitoring Apache Hadoop clusters which includes support for Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop. Ambari also provides a dashboard for viewing cluster health such as heatmaps and ability to view MapReduce, Pig and Hive applications visually a..

하둡2.0 마침내 완성 '운영체제 등장' 마침내 아파치 하둡 2.0이 완성됐다. 하둡 생태계의 운영체제가 제모습을 갖추고 빅데이터 기술의 대대적 변화를 예고했다. 16일(현지시간) 미국 지디넷 등 외신에 따르면, 아파치 소프트웨어 재단은 '아파치 하둡 2.0 GA버전의 완성을 알렸다. 하둡 2.0은 엔진에 얀(YARN)을 포함한다. YARN은 'yet another resource negotiator'의 약어로 맵리듀스 2.0으로도 불린다. 하둡분산파일시스테(HDFS) 상위에 존재하는 리소스 매니저로 빅데이터용 애플리케이션과 다양한 애플리케이션의 대규모 분산형 운영체제로 작동한다. 얀은 하둡 1.0에서 맵리듀스 내에 존재하던 관리 요소를 밖으로 빼냈다. 맵리듀스의 주요 기능을 작업 일정관리/모니터링과 자..

하둡 가상 분산 모드를 설치 하겠습니다. 하둡 가상 분산 모드는 한대의 피씨 안에 네임노드,세컨더리노드,데이터노드,잡트래커,태스크트래커의 데몬을 모두 올려 사용 하는 모드 입니다. 1. 자바 설치 ( 자바 설치는 저의 하둡완전분산모드 설치란에 보시면 있습니다.) 2. ssh 설정하기 ssh-keygen -t rsa를 입력하고 ssh키를 생성합니다. 3. .ssh 디렉토리에 들어가서 id_rsa.pub 파일을 authorized_keys 파일로 복사하여 생성합니다. 4. /etc/hosts 파일의 호스트를 추가 합니다. 5. /etc/profile에 JAVA_HOME,HADOOP_HOME(설치되거나 설치하려는 디렉토리)을 추가합니다. PATH 설정도 추가합니다. 6. 다운 받은 하둡 파일을 압축 해제 후 ..

BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) * Avro: 데이터 직렬화 (http://..

현재 하둡 릴리즈 버전 정보입니다. •1.1.X - current stable version, 1.1 release •1.2.X - current beta version, 1.2 release •2.X.X - current alpha version •0.23.X - simmilar to 2.X.X but missing NN HA. •0.22.X - does not include security •0.20.203.X - old legacy stable version •0.20.X - old legacy version - hadoop.apache.org - 1.1.X - current stable version, 1.1 release

하둡이란? • It is designed to scale up from single servers to thousands of machines, each offering library is a framework that allows for the distributed processing of local computation and storage - hadoop.aphache.org – - 하둡은 클러스터 환경에서 대량의 데이터를 분산처리,저장,관리를 지원하는 오픈소스 프레임워크. - 구글 파일 시스템을 대체할 수 있는 HDFS(Hadoop Distributed File System )와 MapReduce를 구현한 것이다. 하둡의 장단점 Strengths - 오픈소스로 라이선스에 대한 비용 부담 적음 - ..

하둡에코시스템. ver 1.0 퍼가실땐 출처를 남겨주세요~!!!