Apache Pig中Limit运算符有什么用
Admin 2022-09-29 群英技术资讯 982 次浏览
在这篇文章中我们来了解一下“Apache Pig中Limit运算符有什么用”,一些朋友可能会遇到这方面的问题,对此在下文小编向大家来讲解,内容详细,易于理解,希望大家阅读完这篇能有收获哦,有需要的朋友就往下看吧!
LIMIT 运算符用于从关系中获取有限数量的元组。
下面给出了 LIMIT 运算符的语法。
grunt> Result = LIMIT Relation_name required number of tuples;
假设在HDFS目录 /pig_data/ 中有一个名为 student_details.txt 的文件,如下所示。
student_details.txt
001,Rajiv,Reddy,21,9848022337,Hyderabad 002,siddarth,Battacharya,22,9848022338,Kolkata 003,Rajesh,Khanna,22,9848022339,Delhi 004,Preethi,Agarwal,21,9848022330,Pune 005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar 006,Archana,Mishra,23,9848022335,Chennai 007,Komal,Nayak,24,9848022334,trivendram 008,Bharathi,Nambiayar,24,9848022333,Chennai
通过关系 student_details 将此文件加载到的Pig中,如下所示。
grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray,age:int, phone:chararray, city:chararray);
现在,让我们根据学生的年龄以降序对关系进行排序,并使用 ORDER BY 运算符将其存储到另一个名为 limit_data 的关系中,如下所示。
grunt> limit_data = LIMIT student_details 4;
使用 DUMP 运算符验证关系 limit_data ,如下所示。
grunt> Dump limit_data;
它将产生以下输出,显示关系 limit_data 的内容如下。
(1,Rajiv,Reddy,21,9848022337,Hyderabad) (2,siddarth,Battacharya,22,9848022338,Kolkata) (3,Rajesh,Khanna,22,9848022339,Delhi) (4,Preethi,Agarwal,21,9848022330,Pune)
到此,关于“Apache Pig中Limit运算符有什么用”的学习就结束了,希望能够解决大家的疑惑,另外大家动手实践也很重要,对大家加深理解和学习很有帮助。如果想要学习更多的相关知识,欢迎关注群英网络,小编每天都会给大家分享实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
FILTER 运算符用于根据条件从关系中选择所需的元组。语法下面给出了 FILTER 运算符的语法。grunt> Relation2_name = FILTER Relation1_name BY (condition);
Hadoop写文件的实现及要点有哪些?1.客户端将文件写入本地磁盘的 HDFS Client 文件中;2.当临时文件大小达到一个 block 大小时,HDFS client 通知 NameNode,申请写入文件;3.NameNode 在 HDFS 的文件系统中创建一_来自Hadoop 教程,w3cschool编程狮。
explain 运算符用于显示关系的逻辑,物理和MapReduce执行计划。语法下面给出了 explain 运算符的语法。grunt> explain Relation_name;例假设在HDFS中有一个包含以下内容的文件 student_data.txt 。
Apache Pig提供了各种内置函数,即 eval,load,store,math,string,bag 和 tuple 函数。Eval函数下面给出了Apache Pig提供的 eval 函数列表。S.N.函数 & 描述1AVG()计算包内数值的平均值。
配置hadoop之前做好准备工作1.修改主机名称,我这里创建了三个虚拟主机,分别命名node-1,node-2,node-3,进入 network 文件删掉里面的内容直接写上主机名就可以了vi /etc/sysconfig/network2.映射 IP 和主机名,之后 reboot 重启主机
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008