| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- TensorFlow
- SparkML
- 그래프 데이터베이스
- DeepLearning
- 그래프 질의언어
- graph database
- Graph Tech
- 그래프 에코시스템
- 분산 병렬 처리
- BigData
- GDB
- GSQL
- graph
- RStudio
- 그래프
- spark
- GraphX
- SQL
- 빅데이터
- TigerGraph
- 딥러닝
- Cypher
- Graph Ecosystem
- r
- Python
- Federated Learning
- 연합학습
- Neo4j
- 인공지능
- RDD
- Today
- Total
목록BigData/Flume (3)
Hee'World
[1004jonghee]Flume NG version 설치 및 로그 수집
Flume NG 설치 및 로그 수집 하기 입니다. 각각 아래와 같이 구성하였습니다. 0번 HDFS
[1004jonghee]Flume OG version 설치 및 로그 수집
Flume OG version 설치 방법입니다. Flume OG version은 cloudera 홈페이지에 올라와 있습니다. wget 명령어로 다운도르 합니다. 다운로드한 압축파일을 압축 해제 후 원하는 경로에 이동합니다. [ root@NameNode ~]# tar xfvzp flume-0.9.4-cdh3u3.tar.gz [ root@NameNode ~]# mv flume-0.9.4 /usr/local/flume 그다음 vi /etc/profile을 입력하여 환경설정을 합니다. export FLUME_CONF_DIR=/usr/local/flume/conf export FLUME_HOME=/usr/local/flume 을 추가로 입력후 source /etc/profile 을 입력하여 적용시킵니다. 그다음 ..
[1004jonghee]Flume이란-_-?
Flume이란? -클라우데라에서 개발된 오픈 소스 로그 수집 소프트웨어. -데이터수집을 위한 프레임워크로 다양한 로그 데이터 수집 및 모니터링이 가능하며, 실시간 전송을 지원한다. -자바로 구현되어 있기 때문에 다양한 운영체제에 설치가 가능하다. -flume은 장애에 쉽게 대처 가능하며, 로그 유실에 대한 신뢰 수준을 상황에 맞게 변경할 수 있을 뿐만 아니라, 장애 발생시 다양한 복구 메커니즘을 제공한다. -실시간으로 로그를 분석하는 어플리케이션을 개발할 수 있도록, 간단하며 확장 가능한 데이터 모델을 사용한다. -Flume OG Version : 0.9X ~ -Flume NG Version : 1.X ~ --출처는 어디서 보았는지 메모를 못하였습니다-- Flume의 특징 1.신뢰성 1) 지속적으로 실패..