Hee'World

Pandas는 Python에서 데이터 처리를 위한 사실상 표준에 가까운 패키지 Databricks에서 주도하고 있는 Koalas 프로젝트는 Apache Spark위에 Pandas API를 구현한 기능 Pandas 문법을 사용하면서 Spark의 성능을 그대로 활용 가능 현재, 베타버전 Koalas github page - https://github.com/databricks/koalas databricks/koalas Koalas: pandas API on Apache Spark. Contribute to databricks/koalas development by creating an account on GitHub. github.com Koalas Spark + AI Summit 2019 - https:..

1. R과 RStudio는 미리 설치가 되어 있다는 전제하에 진행합니다. 2. Windows 환경에서 설정하였고, 리눅스 환경에서도 비슷할 것이라는 예상하에....진행 하였습니다.3. 설정환경은 아래와 같습니다. R 3.3.1 RStudio 0.98.501 Spark 2.0.0 4. Spark 홈페이지에서 Spark를 다운로드 합니다. 5. 다운 받은 Spark를 적당한 곳에 압축 해제 후 RStudio를 실행합니다.6. 실행한 RStudio에서 아래와 같은 명령어를 입력합니다. Sys.setenv(SPARK_HOME = "Spark를 압축해제한 경로").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) 7. SPARK_H..