Spark SQL開(kāi)始

Spark中所有相關(guān)功能的入口點(diǎn)是SQLContext類(lèi)或者它的子類(lèi)，創(chuàng)建一個(gè)SQLContext的所有需要僅僅是一個(gè)SparkContext。

val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

// createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
import sqlContext.createSchemaRDD

除了一個(gè)基本的SQLContext，你也能夠創(chuàng)建一個(gè)HiveContext，它支持基本SQLContext所支持功能的一個(gè)超集。它的額外的功能包括用更完整的HiveQL分析器寫(xiě)查詢(xún)?nèi)ピL(fǎng)問(wèn)HiveUDFs的能力、從Hive表讀取數(shù)據(jù)的能力。用HiveContext你不需要一個(gè)已經(jīng)存在的Hive開(kāi)啟，SQLContext可用的數(shù)據(jù)源對(duì)HiveContext也可用。HiveContext分開(kāi)打包是為了避免在Spark構(gòu)建時(shí)包含了所有的Hive依賴(lài)。如果對(duì)你的應(yīng)用程序來(lái)說(shuō)，這些依賴(lài)不存在問(wèn)題，Spark 1.2推薦使用HiveContext。以后的穩(wěn)定版本將專(zhuān)注于為SQLContext提供與HiveContext等價(jià)的功能。

用來(lái)解析查詢(xún)語(yǔ)句的特定SQL變種語(yǔ)言可以通過(guò)spark.sql.dialect選項(xiàng)來(lái)選擇。這個(gè)參數(shù)可以通過(guò)兩種方式改變，一種方式是通過(guò)setConf方法設(shè)定，另一種方式是在SQL命令中通過(guò)SET key=value來(lái)設(shè)定。對(duì)于SQLContext，唯一可用的方言是“sql”，它是Spark SQL提供的一個(gè)簡(jiǎn)單的SQL解析器。在HiveContext中，雖然也支持"sql"，但默認(rèn)的方言是“hiveql”。這是因?yàn)镠iveQL解析器更完整。在很多用例中推薦使用“hiveql”。