Hee'World

Apache Spark 3.0.0 preview2 버전이 2019년 12월 23일에 릴리즈 되었다. 향후 버전의 기능을 미리 알아 볼 수 있으며, 곧 정식으로 Spark 3.0이 나올 것으로 기대된다. 몇가지 달라지거나 추가되는 기능에 대해서 알아봅시다. 언어 - Spark 3.0은 Python3를 공식 지원하고, Python 2.x 버전은 더이상 지원되지 않는다. Scala버전은 2.12로 향상되었으며, 또한 JDK 11을 지원하게 된다. SQL 최적화 - DDP(Dynamic Partition Pruning)을 도입하였으며, 논리 계획과 물리 계획에 모두 적용된다. 속도 향상 GPU 지원 - 기존의 Spark MLlib, Spark ML은 딥러닝에 대한 기능이나 알고리즘을 지원하지 않았다. Tenso..

Pandas는 Python에서 데이터 처리를 위한 사실상 표준에 가까운 패키지 Databricks에서 주도하고 있는 Koalas 프로젝트는 Apache Spark위에 Pandas API를 구현한 기능 Pandas 문법을 사용하면서 Spark의 성능을 그대로 활용 가능 현재, 베타버전 Koalas github page - https://github.com/databricks/koalas databricks/koalas Koalas: pandas API on Apache Spark. Contribute to databricks/koalas development by creating an account on GitHub. github.com Koalas Spark + AI Summit 2019 - https:..

1. R과 RStudio는 미리 설치가 되어 있다는 전제하에 진행합니다. 2. Windows 환경에서 설정하였고, 리눅스 환경에서도 비슷할 것이라는 예상하에....진행 하였습니다.3. 설정환경은 아래와 같습니다. R 3.3.1 RStudio 0.98.501 Spark 2.0.0 4. Spark 홈페이지에서 Spark를 다운로드 합니다. 5. 다운 받은 Spark를 적당한 곳에 압축 해제 후 RStudio를 실행합니다.6. 실행한 RStudio에서 아래와 같은 명령어를 입력합니다. Sys.setenv(SPARK_HOME = "Spark를 압축해제한 경로").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) 7. SPARK_H..

- 기술 스택 정리할 겸 끄적거려 보았는데, 예전에 비하면 하둡 또는 데이터 관련 오픈 기술들이 정말 많아졌다. 데이터가 정말 중요해진 느낌이다. 그래서 공부 할게 많아졌다. 하하...

설치 1. Robomongo 홈페이지에 접속해서 우측 상단에 있는 Download 메뉴를 클릭합니다.https://robomongo.org 2. Download메뉴에 들어와서 무료버전으로 선택합니다. 3. 설치하기 쉽게 exe버전으로 다운로드하여 설치합니다. 4. 실행파일을 실행하면 아래와 같은 화면시 실행되는데 다음을 선택합니다. 5. 또 다음을 선택합니다. 6. 원하는 설치 경로가 있으면 바꿔주시고....다음을 선택합니다. 7, 설치가 진행됩니다! 8. robomongo를 처음 실행하면 MongoDB Connectors에 아무 목록이 없는데 Create 버튼을 선택하여 MongoDB에 접속할 수 있게 합니다 9. Name은 접속 MongoDB명을 임의로 적고, Addresss 란에 접속 주소와 Por..

Other Hadoop-related projects at Apache include:Ambari™: A web-based tool for provisioning, managing, and monitoring Apache Hadoop clusters which includes support for Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop. Ambari also provides a dashboard for viewing cluster health such as heatmaps and ability to view MapReduce, Pig and Hive applications visually a..

http://learnhbase.wordpress.com/As told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell as a feature to execute some commands(each command represents one functionality).HBase shell commands are mainly categorized into 6 parts1) General HBase shell commandsstatusShow cluster status. Can be ‘summary’, ‘simple’, or ‘detailed’. The default is ‘summary’. hbase> status hbase>..

출처 : http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=176552&boardConfigUid=108&boardStep=0&categoryUid=-------------------------------------------------------------------------------------------------------------Apache Sqoop은 Sql to Hadoop의 의미로서, Apache Hadoop과 RDBMS 사이에 bulk data를 효율적이고 쉽게 옮길 수 있도록 디자인 된 도구이다. Sqoop은 2009년 첫 버전이 나온 후 2012년에 Apache Top Level Project가 되어 지속 발전 중이..