Python爬虫中requests模块的导入和使用方法是什么
Admin 2022-06-28 群英技术资讯 726 次浏览
开始学习爬虫,我们必须了解爬虫的流程框架。在我看来爬虫的流程大概就是三步,即不论我们爬取的是什么数据,总是可以把爬虫的流程归纳总结为这三步:
1.指定 url,可以简单的理解为指定要爬取的网址
2.发送请求。requests 模块的请求一般为 get 和 post
3.将爬取的数据存储
因为 requests 模块属于外部库,所以需要我们自己导入库
导入的步骤:
1.右键Windows图标
2.点击“运行”
3.输入“cmd”打开命令面板
4.输入“pip install requests”,等待下载完成
如图:
如果还是下载失败,我的建议是百度一下,你就知道(我也是边学边写,是在是水平有限)
欧克,既然导入成功后我们就简单的来爬取一下搜狗的首页吧!
import requests if __name__ == "__main__": # 指定url url = "https://www.sougou.com/" # 发起请求 # get方法会返回一个响应数据 response = requests.get(url) # 获取响应数据 page_txt = response.text # text返回一个字符串的响应数据 # print(page_txt) # 存储 with open("./sougou.html", "w", encoding = "utf-8") as fp: fp.write(page_txt) print("爬取数据结束!!!")
我们打开保存的文件,如图
欧克,这就是最基本的爬取,如果学会了,那就试一试爬取 B站 的首页吧。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
这篇文章主要介绍python实现绘制分类图,遥感影像分类图一般为特定数值对应一类地物,用Python绘制时,主要在颜色的映射和对应的图例生成。废话不多说,下面我们就来具体看看实现代码,感兴趣的朋友可以参考。
这篇文章主要介绍了Python全面解析json数据并保存为csv文件,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
在写代码的时候,往往会漏掉日志这个关键因素,导致功能在使用的时候出错却无法溯源。这个时候只要利用日志装饰器就能解决,本文将用Python自制一个简单实用的日志装饰器,需要的可以参考一下
今天给大家分享的是Python中SortedList类的内容,对大家学习或者巩固python类的基础知识有一定的帮助,有这方面学习需求的朋友可以了解看看,那么接下来就跟随小编来学习一下吧。
今天,发现了一个好玩儿的库,叫做 “pypinyin ”,用于帮助我们实现汉字转拼音,文中有非常详细的代码示例,对正在学习python的小伙伴们很有帮助,需要的朋友可以参考下
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008