在urllib中,可以通过语句:httplib.HTTPConnection.debuglevel = 1
在控制台中输出调试信息
但是这个方法在urllib2中并不能奏效
解决方法是创建一个HTTPHandler,将它设置为debug模式并传递给urllib2,代码如下:
import urllib2
h = urllib2.HTTPHandler(debuglevel = 1)
request = urllib2.Request('http://www.baidu.com')
opener = urllib2.build_opener(h)
feeddata = opener.open(request).read()
输出信息:
connect: (www.baidu.com, 80)
send: 'GET / HTTP/1.1\r\n
Accept-Encoding: identity\r\n
Host: www.baidu.com\r\nConnection: close\r\n
User-Agent: Python-urllib/2.5\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Sun, 26 Dec 2010 11:41:36 GMT
header: Server: BWS/1.0
header: Content-Length: 6222
header: Content-Type: text/html;charset=gb2312
header: Cache-Control: private
header: Expires: Sun, 26 Dec 2010 11:41:36 GMT
header: Set-Cookie: BAIDUID=64F18F30196EC8FB1EA5F93447FEB0F2:FG=1; expires=Sun, 26-Dec-40 11:41:36 GMT; path=/; domain=.baidu.com
header: P3P: CP=" OTI DSP COR IVA OUR IND COM "
header: Connection: Close
分享到:
相关推荐
Python urllib urllib2 urllib模块安装说明
about phyton's urllib2 api
Python urllib urllib2 urllib模块
urllib2使用代理ip和改变header打开网页,proxy和headers。
urllib2 官方文档解析1
urllib2_prior_auth-0.2.0-py2.py3-none-any.whl下载后使用Pip安装
python 2.7 urllib2的详细使用教程
urllib3 最新版本爬虫 whl安装包 python2-3可用 32位 可用
使用urllib爬取猫眼电影排行榜信息,爬取10页的信息。
nodejs urllib 库
python urllib3 requests
使用python写的下载linux.linuxidc.com的资源。对于其它网页,请自行修改
python urllib3 安装文件包
本文将基于python的urllib模块,爬取北京公交线路的信息,最后将数据保存在csv文件和mysql数据库中。 【实验环境】 anaconda丨pycharm python3.11.4 mysql urllib 【实验描述】 学习网络爬虫相关技术,熟悉爬虫基本...
Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 的使用细节。 Proxy 的设置 Timeout 设置 在 ...
在Python中有很多库可以用来抓取网页,我们先学习urllib2。 urllib2是Python2.x自带的模块(不需要下载,导入即可使用) urllib2官网文档:https://docs.python.org/2/library/urllib2.html urllib2源码 urllib2在...
python中使用urllib2伪造http报头的2个方法.docx
urllib3-1.21.1-py2.py3-none-any.whl,可使用pip工具离线安装。
一、最基础的应用 ...urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求 import urllib2 url = r'http://www.baidu.com' req = urlli
Python3中将python2.7的urllib和urllib2两个包合并成了⼀个urllib库,其主要包括⼀下模块: urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 ...