일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- spark
- RStudio
- SparkML
- 그래프 데이터베이스
- 인공지능
- Federated Learning
- RDD
- 딥러닝
- GraphX
- 빅데이터
- graph
- GDB
- Graph Ecosystem
- BigData
- 연합학습
- graph database
- Neo4j
- Python
- TigerGraph
- Graph Tech
- r
- 그래프
- SQL
- GSQL
- 분산 병렬 처리
- DeepLearning
- 그래프 질의언어
- TensorFlow
- 그래프 에코시스템
- Cypher
- Today
- Total
목록빅데이터 (3)
Hee'World
Neo4j 특징 Neo4j는 Neo4j사가 개발한 그래프 데이터베이스 관리 시스템 Neo4j 개발자들은 네이티브 그래프 저장 및 처리 기능을 갖춘 ACID를 준수하는 트랜잭셔널 데이터베이스로 기술하고 있음 DB-Engines ranking에 따르면 가장 대중적인 그래프 데이터베이스 Neo4j는 GPL3 라이선스의 오픈 소스 커뮤니티 에디션으로 이용이 가능(온라인 백업과 고가용 확장 기능(AGPL 라이선스)과 더불어) Neo4j는 이러한 확장 기능들이 포함된 Neo4j를 클로즈드 소스 상용 라이선스로 허가 자바로 구현되어 있으며 트랜잭셔널 HTTP 엔드포인트를 경유하거나 바이너리 볼트(bolt) 프로토콜을 통해 Cypher Query Language를 사용하여 다른 언어(Python, Java, GoLan..
연합학습은 구글에서 제안된 기법으로 개인 모바일 기기에 저장된 데이터를 이용하여 인공지능 모델 학습을 수행하는 방법이다. 기존 인공지능 학습 방법은 빅데이터를 중앙 저장소에 구축하여 학습 데이터로써 모델 학습에 사용하였다. 연합학습은 이와 다르게, 다수의 개인 모바일 기기에 저장된 데이터를 이용하여 인공지능 모델을 학습하고 학습된 파라미터를 클라우드 상의 서버로 전송하여 통합한 파라미터를 인공지능 모델 학습에 사용하고 이를 반복하는 방법이다. 최근 연합학습이 주목을 받고 있는데, 중앙 서버에 구축된 빅데이터를 이용하는 것이 아닌 학습 정보만을 이용하여 연산 속도의 우수함과 데이터가 개인 모바일 기기에서만 이용되기 때문에 정보보호 측면에서도 안전하다. 아무래도 개인 데이터는 민감한 정보이고 유출 되었을 경..
기상데이터를 이용하여 데이터를 확인해 볼 수 있는 기본적인 Shiny앱을 구현합니다. 아래와 같은 탭형식의 기상데이터 탐색을 Shiny로 구현한 화면입니다. 사용환경 : Windows 10, R3.5, RStudio 1.1463 R 주요 패키지 : Shiny, ggplot2, DT, rpart, corrplot 먼저 기상데이터를 수집하기 위해서는 기상청에서 운영하는 "날씨마루"와 "기상자료개방포털"를 활용하여 획득 할 수 있습니다. https://bd.kma.go.kr/kma2019/svc/main.do 기상청 날씨마루 - 기상 빅데이터 분석 플랫폼 및 기상융합서비스 bd.kma.go.kr https://data.kma.go.kr/cmmn/main.do 기상자료개방포털 data.kma.go.kr 필자는 ..