部署Samza Job到CDH

本教程假設(shè)您已成功運(yùn)行 hello-samza，現(xiàn)在您要將作業(yè)部署到 Cloudera 數(shù)據(jù)中心（CDH）。本教程基于CDH 5.4.0，并使用 hello-samza 作為示例作業(yè)。

CDH 5.4.0編譯軟件包

我們需要使用特定的編譯選項(xiàng)來構(gòu)建CDH 5.4.0的 hello-samza 包

mvn clean package -Dhadoop.version=cdh5.4.0

將包上傳到群集

有幾種方法將軟件包上傳到集群的 HDFS。如果你沒有工作包集群，SCP 的從你的本地計(jì)算機(jī)的集群。然后跑

hadoop fs -put path/to/hello-samza-0.12.0-dist.tar.gz /path/for/tgz

獲取部署腳本

解除作業(yè)包（假設(shè)您將從當(dāng)前目錄運(yùn)行）

tar -xvf path/to/samza-job-package-0.12.0-dist.tar.gz -C ./

添加包路徑到屬性文件

vim config/wikipedia-parser.properties

更換 Yarn 包裝路徑：

yarn.package.path=hdfs://<hdfs name node ip>:<hdfs name node port>/path/to/tgz

設(shè)置 Yarn 環(huán)境變量

export HADOOP_CONF_DIR=/etc/hadoop/conf

運(yùn)行 Samza Job

bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/config/wikipedia-parser.properties