Hee'World

Titanic DataFrame 생성¶ In [1]: import pandas as pd In [15]: data1 = {'PassengerId':{0:1, 1:2, 2:3, 3:4, 4:5}, 'Name' : {0:'Owen', 1:'Florence', 2:'Laina', 3:'Lily', 4:"William"}, 'sex' : {0: 'male', 1: 'female', 2:'female', 3:'female', 4:'male'}, 'Survived': {0:0, 1:1, 2:1, 3:1, 4:0} } data2 = ..

Spark에서 Row와 Column의 형태로 RDD를 표현하여 처리 할 수 있음 타입 - Python의 Pandas 패키지의 DataFrame과 R의 DataFrame과 동일한 개념 - Spark 2.x에서 Catalyst Optimizer의 도입으로 인해 Spark에서 지원하는 프로그래밍 타입 별 처리 성능이 동일하게 향상되었음 Spark DataFrame¶ spark.read.csv() spark.read.json() spark.read.format("csv") spark.read.format("json") file:// hdfs:// hbase:// s3:// In [1]: stock = spark.read.csv("data/appl_stock.csv", inferSchema=True, header..

Pandas는 Python에서 데이터 처리를 위한 사실상 표준에 가까운 패키지 Databricks에서 주도하고 있는 Koalas 프로젝트는 Apache Spark위에 Pandas API를 구현한 기능 Pandas 문법을 사용하면서 Spark의 성능을 그대로 활용 가능 현재, 베타버전 Koalas github page - https://github.com/databricks/koalas databricks/koalas Koalas: pandas API on Apache Spark. Contribute to databricks/koalas development by creating an account on GitHub. github.com Koalas Spark + AI Summit 2019 - https:..