在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码

版本python2.7

#coding:utf-8
import chardet
#抓取网页html
line = "http://www.pythontab.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
encoding_dict = chardet.detect(html_1)
print encoding
web_encoding = encoding_dict['encoding']
#处理，整个html就不会是乱码。
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python Canny算法如何检测硬币的边缘

  内容介绍一、问题背景二、Canny算法（一）、高斯平滑（二）Sobel算子计算梯度（三）非极大化抑制（四）滞后边缘跟踪一、问题背景纸面上有一枚一元钱的银币，你能在Canny和Hough的帮助

• Python中列表去重方式有几种，代码是什么

  开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序， 后面两种方法可以保持

• Python程序执行过程是什么，有哪些知识点

  这篇文章主要为大家介绍了Python字节码与程序执行过程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• python输入根号有几种方法，开根号函数是什么

  这篇文章主要介绍了python如何输入根号，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

• Python实现批量裁剪图片的操作及过程是什么

  这篇文章主要介绍了Python批量裁剪图片的程序代码，是批量裁剪某一文件夹下的所有图片，并指定裁剪宽高，本文给大家分享实现思路,需要的朋友可以参考下