GraphX編程指南

GraphX是一個新的（alpha）Spark API，它用于圖和并行圖(graph-parallel)的計算。GraphX通過引入Resilient Distributed Property Graph：帶有頂點和邊屬性的有向多重圖，來擴展Spark RDD。為了支持圖計算，GraphX公開一組基本的功能操作以及Pregel API的一個優(yōu)化。另外，GraphX包含了一個日益增長的圖算法和圖builders的集合，用以簡化圖分析任務。

從社交網絡到語言建模，不斷增長的規(guī)模和圖形數據的重要性已經推動了許多新的graph-parallel系統(tǒng)（如Giraph和GraphLab）的發(fā)展。通過限制可表達的計算類型和引入新的技術來劃分和分配圖，這些系統(tǒng)可以高效地執(zhí)行復雜的圖形算法，比一般的data-parallel系統(tǒng)快很多。

然而，通過這種限制可以提高性能，但是很難表示典型的圖分析途徑（構造圖、修改它的結構或者表示跨多個圖的計算）中很多重要的stages。另外，我們如何看待數據取決于我們的目標，并且同一原始數據可能有許多不同表和圖的視圖。

結論是，圖和表之間經常需要能夠相互移動。然而，現(xiàn)有的圖分析管道必須組成graph-parallel和data- parallel系統(tǒng)`，從而實現(xiàn)大數據的遷移和復制并生成一個復雜的編程模型。

GraphX項目的目的就是將graph-parallel和data-parallel統(tǒng)一到一個系統(tǒng)中，這個系統(tǒng)擁有一個唯一的組合API。GraphX允許用戶將數據當做一個圖和一個集合（RDD），而不需要數據移動或者復制。通過將最新的進展整合進graph-parallel系統(tǒng)，GraphX能夠優(yōu)化圖操作的執(zhí)行。

• 開始
• 屬性圖
• 圖操作符
• Pregel API
• 圖構造者
• 頂點和邊RDDs
• 圖算法
• 例子