Samza YARN工作

當(dāng)您在您的工作配置中定義 job.factory.class = org.apache.samza.job.yarn.YarnJobFactory 時(shí)，Samza 將使用 YARN 來執(zhí)行您的工作。YarnJobFactory 將使用HADOOP_YARN_HOMErun-job.sh 執(zhí)行的機(jī)器上的環(huán)境變量來獲取適當(dāng)?shù)?YARN 配置，這將定義 YARN 資源管理器的位置。YarnJob 將與資源管理器一起工作，使您的工作在 YARN 群集上啟動(dòng)。

如果您想使用 YARN 來運(yùn)行 Samza 工作，您還需要定義 Samza 工作包的位置。

例如，你可能會(huì)說：

yarn.package.path=http://my.http.server/jobs/ingraphs-package-0.0.55.tgz

此 .tgz 文件遵循 Packaging 頁(yè)面上概述的約定（它具有 bin / run-am.sh 和 bin / run-container.sh）。YARN NodeManagers 將負(fù)責(zé)將該 .tgz 文件下載到相應(yīng)的計(jì)算機(jī)上，并將其解壓縮。從那里，YARN 將為 Samza 應(yīng)用主程序和 SamzaContainer 分別執(zhí)行 run -am.sh 或 run-container.sh。

如果要在特定 YARN 隊(duì)列中運(yùn)行 Samza 作業(yè)，而不是默認(rèn)隊(duì)列，則可以在作業(yè)的配置中設(shè)置 yarn.queue 的屬性。

例如，使用以下屬性設(shè)置：

yarn.queue=root.adhoc

Samza 作業(yè)將在 root.adhoc 隊(duì)列中運(yùn)行。

記錄  ?