对于大部分论坛，我们想要抓取其中的帖子分析，首先需要登录，否则无法查看。
这是因为 HTTP 协议是一个无状态(Stateless)的协议，服务器如何知道当前请求连接的用户是否已经登录了呢？有两种方式：
在URI 中显式地使用 Session ID；
利用 Cookie，大概过程是登录一个网站后会在本地保留一个 Cookie，当继续浏览这个网站的时候，浏览器会把 Cookie 连同地址请求一起发送过去。
Python 提供了相当丰富的模块，所以对于这种网络操作只要几句话就可以完成。我以登录 QZZN 论坛为例，事实上下面的程序几乎所有的 PHPWind 类型的论坛都是适用的。
# -*- coding: GB2312 -*-
from urllib import urlencode
import cookielib, urllib2
# cookie
cj = cookielib.LWPCookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
# Login
user_data = {'pwuser': '你的用户名',
'pwpwd': '你的密码',
'step':'2'
}
url_data = urlencode(user_data)
login_r = opener.open("http://bbs.qzzn.com/login.php", url_data)
一些注释：
urllib2 显然是比 urllib 高级一点的模块，里面包括了如何使用 Cookies。
在 urllib2 中，每个客户端可以用一个 opener 来抽象，每个 opener 又可以增加多个 handler 来增强其功能。
在构造 opener 时指定了 HTTPCookieProcessor 做为 handler，因此这个 handler 支持 Cookie。
使用 isntall_opener 后，调用 urlopen 时会使用这个 opener。
如果不需要保存 Cookie，cj 这个参数可以省略。
user_data 存放的就是登录所需要的信息，在登录论坛的时候把这个信息传递过去就行了。
urlencode 功能是把字典 user_data 编码成"?pwuser=username&pwpwd=password"的形式，这样做是为了使程序易读一些。
最后一个问题是，pwuser、pwpwd 这类的名字是从哪儿来的，这就要分析需要登录的网页了。我们知道，一般的登录界面都是一个表单，节选如下：
从这里可以看出，我们需要输入的用户名密码对应的就是 pwuser 和 pwpwd，而 step 对应的则是登录（这个是尝试出来的）。
注意到，这个论坛表单采用的是 post 方式，如果是 get 方式则本文的方法就需要变动一下，不能直接 open，而是应该首先 Request，然后再 open。更详细的请看手册...
上一篇: Python 模拟登录及表单提交
下一篇: Python实现Discuz论坛的自动POST登录发贴回帖
相关文章：
- python程序内存占用分析-meliae
- 介绍几个比较出名的编程acm题库
- 位运算交换变量 不用临时变量（C位运算）
- Javascript 另类写法
- 用python爬虫抓站的一些技巧总结
- Python 模拟登录及表单提交
Categories: 博客记录
0 Responses so far.