COGROUP 運算符的運作方式與 GROUP 運算符相同。兩個運算符之間的唯一區(qū)別是 group 運算符通常用于一個關(guān)系,而 cogroup 運算符用于涉及兩個或多個關(guān)系的語句。
假設(shè)在HDFS目錄 /pig_data/ 中有兩個文件,即 student_details.txt 和 employee_details.txt ,如下所示。
student_details.txt
001,Rajiv,Reddy,21,9848022337,Hyderabad 002,siddarth,Battacharya,22,9848022338,Kolkata 003,Rajesh,Khanna,22,9848022339,Delhi 004,Preethi,Agarwal,21,9848022330,Pune 005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar 006,Archana,Mishra,23,9848022335,Chennai 007,Komal,Nayak,24,9848022334,trivendram 008,Bharathi,Nambiayar,24,9848022333,Chennai
employee_details.txt
001,Robin,22,newyork 002,BOB,23,Kolkata 003,Maya,23,Tokyo 004,Sara,25,London 005,David,23,Bhuwaneshwar 006,Maggy,22,Chennai
將這些文件分別加載到Pig中,關(guān)系名稱分別為 student_details 和 employee_details ,如下所示。
grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray); grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, city:chararray);
現(xiàn)在,將 student_details 和 employee_details 關(guān)系的記錄/元組按關(guān)鍵字age進行分組,如下所示。
grunt> cogroup_data = COGROUP student_details by age, employee_details by age;
使用 DUMP 運算符驗證關(guān)系 cogroup_data ,如下所示。
grunt> Dump cogroup_data;
它將產(chǎn)生以下輸出,顯示名為 cogroup_data 的關(guān)系的內(nèi)容,如下所示。
(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)}, { }) (22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) }, { (6,Maggy,22,Chennai),(1,Robin,22,newyork) }) (23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)}, {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) (24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)}, { }) (25,{ }, {(4,Sara,25,London)})
cogroup 運算符根據(jù)年齡對來自每個關(guān)系的元組進行分組,其中每個組描述特定的年齡值。
例如,如果我們考慮結(jié)果的第一個元組,它按照年齡21分組,那它包含兩個包
第一個包保存了具有21歲的第一關(guān)系(在這種情況下是 student_details )的所有元組;
第二個包具有第二關(guān)系(在這種情況下為 employee_details )的所有元組,其年齡為21歲。
如果關(guān)系不具有年齡值為21的元組,則返回一個空包。
更多建議: