用phpQuery怎样实现采集网页?
Admin 2021-05-12 群英技术资讯 1662 次浏览
这篇文章给大家分享的是如何使用phpQuery实现采集网的操作,小编认为phpQuery采集网页的操作是非常方便,因此分享给大家作参考,有需要的朋友可以了解一下,下面我们一起来看看。
平时开发中可能遇到一个问题。采集网页,小偷程序等等。各种花式秀正则的话,虽然能体现出geek,但是我觉得做事却不够优雅。采集到的网页说白了也是DOM,jQuery各种优雅地获取节点。幸好,有这个类库,帮我们解决了这个,那就是phpQuery.
为什么使用phpQuery
phpQuery是基于php5新添加的DOMDocument。而DOMDocument则是专门用来处理html/xml。它提供了强大的xpath选择器及其他很多html/xml操作函数,使得处理html/xml起来非常方便。
尤其对于新手,看到一堆”不知所云”的字符评凑在一起,有种脑袋都要炸了的感觉。如果要分离的对象没有太明显的特征,正则写起来更是麻烦。
学习成本低,jQuery是PHP程序员的标配,那么懂jQuery的话,是可以无缝衔接的,学习成本几乎为0。选择器,节点,节点信息,over
实验
既然开始了,那么就做个实验,比如我们要获取SF的所有标签名称https://segmentfault.com/tags,审查元素,得到部分标签属性。<a class="tag" data-original-title="负载均衡">负载均衡</a>
Demo
<?php
require("phpQuery.php");//导入phpQuery库
$html = phpQuery::newDocumentFile("https://segmentfault.com/tags");
$hrefList = pq(".tag"); //获取标签为a的所有对象$(".tag")
foreach ($hrefList as $href) {
echo $href->getAttribute("data-original-title"),"<br>";
}
结果

总结
网页采集真特么无脑暴力,成功绕过恶心的正则
1.写法参照jQuery
2.体会Dom的思想
3.此类库并非万金油,更适合网页采集
以上关于使用phpQuery采集网页的内容介绍,有学习或者工作需要的朋友可以参考一下,希望能帮助到大家,更多phpQuery采集的知识大家可以继续关注其他文章。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
生成器最大的优势就是简单,和实现Iterator的类相比有着更少的样板代码,并且代码的可读性也更强.例如,下面的函数和类是等价的:<?phpfunctiongetLinesFromFile($fi...
PHP5提供了一种定义对象的方法使其可以通过单元列表来遍历,例如用 foreach 语句。默认情况下,所有可见属性都将被用于遍历。Example#1简单的对象遍历classMyClas...
我们在日常的计算机编程和学习中,往往会遇到进制转换,所谓进制转化,简单的理解就是将一种进制的数字转换为另一种进制的数字。这篇文章就给大家分享一下PHP字符串和十六进制的互相转换,通常我们在调用别网站接口时,要对字符串进行16进制加密处理。
如何用php获取当前日期的7天内的时间,比如今天是5号,我想获取5号前7天的日期,怎么获取?实现方法如下:如何用php获取当前日期的7天内的时间实现方法如下:$t=time()+3600*8;//这里和标准时间相差8小时需要补足$tget=$t-3600*24*5;//比如5天前的时间echodate("Y-m-dH:i:s星期w",$tget);//格式按你需要选取例:$che
区别:1、事件监听关注的重点是已经执行完的事件,而job关注的重点是正在执行的事件;2、事件监听适用于耗时短的操作,例如更改数据字段状态,而job适用于长时间执行任务,例如批量发送邮件。
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前:400-678-4567
7x24小时售后:0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话:010-58813000
服务邮箱:service@cnnic.cn
投诉与建议:0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准(ICP备案)粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008