Spark Streaming關(guān)聯(lián)

Spark Streaming關(guān)聯(lián)

與Spark類似，Spark Streaming也可以利用maven倉庫。編寫你自己的Spark Streaming程序，你需要引入下面的依賴到你的SBT或者Maven項目中

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.10</artifactId>
    <version>1.2</version>
</dependency>

為了從Kafka, Flume和Kinesis這些不在Spark核心API中提供的源獲取數(shù)據(jù)，我們需要添加相關(guān)的模塊spark-streaming-xyz_2.10到依賴中。例如，一些通用的組件如下表所示：

為了獲取最新的列表，請訪問Apache repository