Python抓取时怎么样抓取中文编码
Admin 2022-07-15 群英技术资讯 1139 次浏览
这篇文章主要讲解了“Python抓取时怎么样抓取中文编码”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码
版本python2.7
#coding:utf-8
import chardet
#抓取网页html
line = "http://www.pythontab.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
encoding_dict = chardet.detect(html_1)
print encoding
web_encoding = encoding_dict['encoding']
#处理，整个html就不会是乱码。
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')
这篇关于“Python抓取时怎么样抓取中文编码”的文章就介绍到这了,更多相关的内容，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Python matplotlib绘图过程中怎样设置图例细节
这篇文章主要给大家分享Python matplotlib绘图设置图例案例，过程会学到edgecolor 图例边框线颜色 facecolor 图例背景色 shadow 是否添加阴影 title 图例标题 fontsize 设置字体大小，小编觉得挺有意思的，感兴趣的小伙伴也可以参考一下
-
如何用Python实现人脸识别考勤的功能
人脸识别目前正被用于让世界更安全、更智能、更方便。在本文中，你将学习如何使用 Python 构建人脸识别系统。人脸识别比人脸检测更进一步。感兴趣的可以学习一下
-
如何理解Python推导式，定义及用法是什么
这篇文章主要介绍了Python推导式使用详情，推导式是 for 循环的简化使用方法，使用推导式，将一个可迭代对象中的数据遍历到某一个容器当中,下面文章详细介绍需要的小伙伴可以参考一下
-
Python判断Nan值有几种方法，nan处理怎样做
这篇文章主要介绍了Python判断Nan值的五种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
-
Python中对字符串的基础操作有哪些，代码是什么
今天给大家总结一下字符串的所有操作，string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等去空格及特殊符号s stri
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
