国产chinesehdxxxx野外,国产av无码专区亚洲av琪琪,播放男人添女人下边视频,成人国产精品一区二区免费看,chinese丰满人妻videos

Spark SQL開(kāi)始

2018-11-26 16:32 更新

Spark SQL開(kāi)始

Spark中所有相關(guān)功能的入口點(diǎn)是SQLContext類(lèi)或者它的子類(lèi),創(chuàng)建一個(gè)SQLContext的所有需要僅僅是一個(gè)SparkContext。

val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

// createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
import sqlContext.createSchemaRDD

除了一個(gè)基本的SQLContext,你也能夠創(chuàng)建一個(gè)HiveContext,它支持基本SQLContext所支持功能的一個(gè)超集。它的額外的功能包括用更完整的HiveQL分析器寫(xiě)查詢(xún)?nèi)ピL(fǎng)問(wèn)HiveUDFs的能力、從Hive表讀取數(shù)據(jù)的能力。用HiveContext你不需要一個(gè)已經(jīng)存在的Hive開(kāi)啟,SQLContext可用的數(shù)據(jù)源對(duì)HiveContext也可用。HiveContext分開(kāi)打包是為了避免在Spark構(gòu)建時(shí)包含了所有的Hive依賴(lài)。如果對(duì)你的應(yīng)用程序來(lái)說(shuō),這些依賴(lài)不存在問(wèn)題,Spark 1.2推薦使用HiveContext。以后的穩(wěn)定版本將專(zhuān)注于為SQLContext提供與HiveContext等價(jià)的功能。

用來(lái)解析查詢(xún)語(yǔ)句的特定SQL變種語(yǔ)言可以通過(guò)spark.sql.dialect選項(xiàng)來(lái)選擇。這個(gè)參數(shù)可以通過(guò)兩種方式改變,一種方式是通過(guò)setConf方法設(shè)定,另一種方式是在SQL命令中通過(guò)SET key=value來(lái)設(shè)定。對(duì)于SQLContext,唯一可用的方言是“sql”,它是Spark SQL提供的一個(gè)簡(jiǎn)單的SQL解析器。在HiveContext中,雖然也支持"sql",但默認(rèn)的方言是“hiveql”。這是因?yàn)镠iveQL解析器更完整。在很多用例中推薦使用“hiveql”。

以上內(nèi)容是否對(duì)您有幫助:
在線(xiàn)筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)