发布于 2014-12-06 06:34:27 | 393 次阅读 | 评论: 0 | 来源: 网友投递
Python编程语言
Python 是一种面向对象、解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。
本文主要为大家讲解的是python中urllib模块用法,以实例形式详细分析了python中urllib模块代替PHP的curl操作方法,具有不错的借鉴价值,需要的朋友可以参考下
一、问题:
近期公司项目的需求是根据客户提供的api,我们定时去获取数据, 之前的方案是用php收集任务存入到redis队列,然后在linux下做一个常驻进程跑某一个php文件, 该php文件就一个无限循环,判断redis队列,有就执行,没有就break.
二、解决方法:
最近刚好学了一下python, python的urllib模块或许比php的curl更快,而且简单. 贴一下代码
发现第一次访问所需要的时间为[Finished in 3.0s]
而第二次访问的时间为[Finished in 0.2s]
可见python的urllib模块是加有缓存的
urllib/2用法典型的例子
class Hi_login:
def __init__(self):
cookie = cookielib.CookieJar()
self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###
def login(self,user,pwd):
url='http://passport.baidu.com/?login'
postdata=urllib.urlencode({
'mem_pass':'on',
'password':pwd
'Submit':'',
'tpl':'sp',
'tp_reg':'sp',
'u' :'http://hi.baidu.com',
'username':user})
### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
headers = { ####### dict结构,可以加入x-forward-for甚至refer等 #######
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
urllib2.install_opener(opener)
request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
urllib2.urlopen(request)
if __name__=='__main__':
pwd='123456'
user='xiaofu'
test=Hi_login()
test.login(user,pwd)
假如访问需要认证的页面比如nagios监控页面等,
返回结果200,否则就是401认证错误