Apache Pig Join運(yùn)算符

2018-12-30 18:43 更新

JOIN 運(yùn)算符用于組合來自兩個(gè)或多個(gè)關(guān)系的記錄。在執(zhí)行連接操作時(shí)，我們從每個(gè)關(guān)系中聲明一個(gè)（或一組）元組作為key。 當(dāng)這些key匹配時(shí)，兩個(gè)特定的元組匹配，否則記錄將被丟棄。連接可以是以下類型：

  • Self-join
  • Inner-join
  • Outer-join ? left join, right join, and full join

本章介紹了如何在Pig Latin中使用join運(yùn)算符的示例。假設(shè)在HDFS的 /pig_data/ 目錄中有兩個(gè)文件，即 customers.txt 和 orders.txt ，如下所示。

customers.txt 

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt 

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

我們將這兩個(gè)文件與 customers 和 orders 關(guān)系一起加載到Pig中，如下所示。

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

現(xiàn)在讓我們對(duì)這兩個(gè)關(guān)系執(zhí)行各種連接操作。

Self-join（自連接）

Self-join 用于將表與其自身連接，就像表是兩個(gè)關(guān)系一樣，臨時(shí)重命名至少一個(gè)關(guān)系。通常，在Apache Pig中，為了執(zhí)行self-join，我們將在不同的別名（名稱）下多次加載相同的數(shù)據(jù)。那么，將文件 customers.txt 的內(nèi)容加載為兩個(gè)表，如下所示。

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

語法

下面給出使用 JOIN 運(yùn)算符執(zhí)行self-join操作的語法。

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

例

通過如圖所示加入兩個(gè)關(guān)系 customers1 和 customers2 ，對(duì)關(guān)系 customers 執(zhí)行self-join 操作。

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 customers3 ，如下所示。

grunt> Dump customers3;

輸出

將產(chǎn)生以下輸出，顯示關(guān)系 customers 的內(nèi)容。

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

Inner Join（內(nèi)部連接）

Inner Join使用較為頻繁；它也被稱為等值連接。當(dāng)兩個(gè)表中都存在匹配時(shí)，內(nèi)部連接將返回行。基于連接謂詞（join-predicate），通過組合兩個(gè)關(guān)系（例如A和B）的列值來創(chuàng)建新關(guān)系。查詢將A的每一行與B的每一行進(jìn)行比較，以查找滿足連接謂詞的所有行對(duì)。當(dāng)連接謂詞被滿足時(shí)，A和B的每個(gè)匹配的行對(duì)的列值被組合成結(jié)果行。

語法

以下是使用 JOIN 運(yùn)算符執(zhí)行inner join操作的語法。

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

例

讓我們對(duì)customers和orders執(zhí)行inner join操作，如下所示。

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證 coustomer_orders 關(guān)系，如下所示。

grunt> Dump coustomer_orders;

輸出

將獲得以下輸出，是名為 coustomer_orders 的關(guān)系的內(nèi)容。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

注意：

Outer Join：與inner join不同，outer join返回至少一個(gè)關(guān)系中的所有行。outer join操作以三種方式執(zhí)行：

  • Left outer join
  • Right outer join
  • Full outer join

Left Outer Join（左外連接）

left outer join操作返回左表中的所有行，即使右邊的關(guān)系中沒有匹配項(xiàng)。

語法

下面給出使用 JOIN 運(yùn)算符執(zhí)行left outer join操作的語法。

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

例

讓我們對(duì)customers和orders的兩個(gè)關(guān)系執(zhí)行l(wèi)eft outer join操作，如下所示。

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 outer_left ，如下所示。

grunt> Dump outer_left;

輸出

它將產(chǎn)生以下輸出，顯示關(guān)系 outer_left 的內(nèi)容。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

Right Outer Join（右外連接）

right outer join操作將返回右表中的所有行，即使左表中沒有匹配項(xiàng)。

語法

下面給出使用 JOIN 運(yùn)算符執(zhí)行right outer join操作的語法。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

例

讓我們對(duì)customers和orders執(zhí)行right outer join操作，如下所示。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 outer_right ，如下所示。

grunt> Dump outer_right

輸出

它將產(chǎn)生以下輸出，顯示關(guān)系 outer_right 的內(nèi)容。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Full Outer Join（全外連接）

當(dāng)一個(gè)關(guān)系中存在匹配時(shí)，full outer join操作將返回行。

語法

下面給出使用 JOIN 運(yùn)算符執(zhí)行full outer join的語法。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

例

讓我們對(duì)customers和orders執(zhí)行full outer join操作，如下所示。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 outer_full ，如下所示。

grun> Dump outer_full;

輸出

它將產(chǎn)生以下輸出，顯示關(guān)系 outer_full 的內(nèi)容。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

使用多個(gè)Key

我們可以使用多個(gè)key執(zhí)行JOIN操作。

語法

下面是如何使用多個(gè)key對(duì)兩個(gè)表執(zhí)行JOIN操作。

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

假設(shè)在HDFS的 /pig_data/ 目錄中有兩個(gè)文件，即 employee.txt 和 employee_contact.txt ，如下所示。

employee.txt 

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt 

001,9848022337,Rajiv@gmail.com,Hyderabad,003
002,9848022338,siddarth@gmail.com,Kolkata,003
003,9848022339,Rajesh@gmail.com,Delhi,003
004,9848022330,Preethi@gmail.com,Pune,003
005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003
006,9848022335,Archana@gmail.com,Chennai,003
007,9848022334,Komal@gmail.com,trivendram,002
008,9848022333,Bharathi@gmail.com,Chennai,001

將這兩個(gè)文件加載到Pig中，通過關(guān)系 employee 和 employee_contact ，如下所示。

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

現(xiàn)在，讓我們使用 JOIN 運(yùn)算符連接這兩個(gè)關(guān)系的內(nèi)容，如下所示。

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 emp ，如下所示。

grunt> Dump emp;

輸出

它將產(chǎn)生以下輸出，顯示名為 emp 的關(guān)系的內(nèi)容，如下所示。

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)


以上內(nèi)容是否對(duì)您有幫助：
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)