Python抓取时怎么样抓取中文编码
Admin 2022-07-15 群英技术资讯 1777 次浏览
这篇文章主要讲解了“Python抓取时怎么样抓取中文编码”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码
版本python2.7
#coding:utf-8
import chardet
#抓取网页html
line = "http://www.pythontab.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
encoding_dict = chardet.detect(html_1)
print encoding
web_encoding = encoding_dict['encoding']
#处理，整个html就不会是乱码。
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')
这篇关于“Python抓取时怎么样抓取中文编码”的文章就介绍到这了,更多相关的内容，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Python进行爬虫简单页面的操作是什么
这篇文章主要介绍了python基础之爬虫入门,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有很好地帮助哟,需要的朋友可以参考下
-
Python2和Python3中print的不同表现在哪些方面
在Python2和Python3中都提供print()方法来打印信息,但两个版本间的print稍微有差异主要体现在以下几个方面：1 python3中print是一个内置函
-
基于python如何实现游戏开发，有什么参考的实例
本文给大家分享了作者整理的五个python游戏开发的案例,通过具体设计思路,代码等方面详细了解python游戏开发的过程,非常的详细,希望大家能够喜欢
-
Python实现计算AUC的方法有几种，怎样做
AUC（Area under curve）是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积。本文将利用Python语言实现计算AUC，感兴趣的可以学习一下
-
用Python怎样实现对目标区域图片裁剪的功能
python opencv实现目标区域裁剪功能？这个任务是自己在项目中数据处理的一部分内容，待处理的图片如下所示：我需要将目标区域给裁剪出来，要不然在后期训练网络的时候整幅图像过大，且目标区域过小，得到结果不好，还会加剧计算量。
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前：400-678-4567
7x24小时售后：0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话：010-58813000
服务邮箱：service@cnnic.cn
投诉与建议：0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准（ICP备案）粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
