Apache Pig Cogroup運(yùn)算符

COGROUP 運(yùn)算符的運(yùn)作方式與 GROUP 運(yùn)算符相同。兩個(gè)運(yùn)算符之間的唯一區(qū)別是 group 運(yùn)算符通常用于一個(gè)關(guān)系，而 cogroup 運(yùn)算符用于涉及兩個(gè)或多個(gè)關(guān)系的語(yǔ)句。

使用Cogroup分組兩個(gè)關(guān)系

假設(shè)在HDFS目錄 /pig_data/ 中有兩個(gè)文件，即 student_details.txt 和 employee_details.txt ，如下所示。

student_details.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

employee_details.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai

將這些文件分別加載到Pig中，關(guān)系名稱(chēng)分別為 student_details 和 employee_details ，如下所示。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray); 
  
grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

現(xiàn)在，將 student_details 和 employee_details 關(guān)系的記錄/元組按關(guān)鍵字age進(jìn)行分組，如下所示。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

驗(yàn)證

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 cogroup_data ，如下所示。

grunt> Dump cogroup_data;

輸出

它將產(chǎn)生以下輸出，顯示名為 cogroup_data 的關(guān)系的內(nèi)容，如下所示。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)}, 
   {    })  
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },  
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })  
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)}, 
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) 
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)}, 
   { })  
(25,{   }, 
   {(4,Sara,25,London)})

cogroup 運(yùn)算符根據(jù)年齡對(duì)來(lái)自每個(gè)關(guān)系的元組進(jìn)行分組，其中每個(gè)組描述特定的年齡值。

例如，如果我們考慮結(jié)果的第一個(gè)元組，它按照年齡21分組，那它包含兩個(gè)包

• 第一個(gè)包保存了具有21歲的第一關(guān)系（在這種情況下是 student_details ）的所有元組；

• 第二個(gè)包具有第二關(guān)系（在這種情況下為 employee_details ）的所有元組，其年齡為21歲。

如果關(guān)系不具有年齡值為21的元組，則返回一個(gè)空包。