Spark DataFrame Api

load table

支持 DataFrame 读取，现在可以使用 spark.table 通过表名 load 表:

val df = spark.read.table("arctic_catalog.db.sample")
df.count

write to table

Appending data

要向 Arctic 表添加数据，使用 append():

val data: DataFrame = ...
data.writeTo("arctic_catalog.db.sample").append()

append 只支持无主键表

Overwriting data

要动态覆盖分区，使用 overwritePartitions() :

val data: DataFrame = ...
data.writeTo("arctic_catalog.db.sample").overwritePartitions()

Creating tables

创建表请使用 create 操作

val data: DataFrame = ...
data.writeTo("arctic_catalog.db.sample").create()

创建表操作支持表配置方法，如 partitionBy，并且arctic支持使用 option("primary.keys", "'xxx'") 来指定主键:

val data: DataFrame = ...
data.write().format("arctic")
    .partitionBy("data")
    .option("primary.keys", "'xxx'")
    .save("arctic_catalog.db.sample")