爬虫--用cookie访问任意网页

news/2025/5/31 5:44:48
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#############################################
# File        : requestAnyURLWithCookie.py
# Author      : lucasysfeng
# Revision    : 2014-06-13 11:08:00
# Description : 用cookie访问任何网页(已经有cookie了,不需要登录等验证)
#             : cookie用浏览器查看
#############################################
import cookielib
import urllib2
import urllibURL = ""
URLCookie = ""### 存储cookie
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)### 将cookie放在请求头中
opener.addheaders = [("user-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"), ("cookie", URLCookie)]### 提交的数据
postValues = {}
postData = urllib.urlencode(postValues)### 访问URL
try:fileObject = opener.open(URL, postData)
except:print "error: open() error"print fileObject.read()

 

转载于:https://www.cnblogs.com/helloweworld/p/3786140.html

文章来源:https://blog.csdn.net/weixin_30905133/article/details/98570754
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:https://dhexx.cn/news/show-18458.html

相关文章

SpringBoot整合事务回滚

SpringBoot整合事务回滚一、自动回滚二、手动回滚一、自动回滚 自动回滚有个前提条件,它一定必须是public的,其次,在它的方法上必须要添加上Transactional 注解。 在方法或者类上加上注解Transactional 1.Error一定会回滚。 2.异常中&#x…

删除域控中的一个服务器,删除 Active Directory 域服务

在域控制器上运行 Dcpromo.exe 时,Active Directory 域服务安装向导检测到已在服务器上安装了 Active Directory 域服务 (AD DS)。然后,该向导将启动并提示您输入卸载服务器上的 AD DS 所需的信息。您可以采用以下方式在域控制器中启动 Active Directory…

spark常用RDD算子 - Reduce(),fold()

reduce(fun) 算子&#xff1a; 每次传入两个参数通过fun 的到一个返回值&#xff0c;该返回值继续与后面的值进行调用fun&#xff0c;直到所有的数据计算完成&#xff0c;最后返回一个计算结果 reduce算子代码示例 List<Integer> number Arrays.asList(3,2,5,4,7); Jav…

将html转换为word文档的几种方式

1 基于wps直接将页面信息下载成word文档 1 public void test()2 {3 4 WPS.Application wps null;5 try6 {7 wps new WPS.Application();8 }9 catch (Exception ex) 10 { …

MCI 录制指定格式音频

可先用其他格式转换软件转换一段0秒指定格式的音频&#xff0c;然后用mcisendstring(L"open xxx.avi alias abc",0,0,0)打开&#xff0c;在进行录音mcisendstring(L"record abc",0,0,0)即可 转载于:https://www.cnblogs.com/yibinpan/p/3166079.html

SpringBoot整合自定义异常

SpringBoot整合自定义异常一、异常处理类二、自定义异常类一、异常处理类 /*** 异常处理类*/ ControllerAdvice//全局异常处理 public class CustomExceptionHandler {//记录日志private final static Logger logger LoggerFactory.getLogger(CustomExceptionHandler.class);…

spark常用RDD算子 - flatMapToPair

在flatMap算子的基础上&#xff0c;将结果变成 (a,1)的形式flatMap算子&#xff1a; 有时候&#xff0c;我们希望对某个元素生成多个元素&#xff0c;实现该功能的操作叫作 flatMap() faltMap的函数应用于每一个元素&#xff0c;对于每一个元素返回的是多个元素组成的迭代器 例…

xp系统打印机服务器不可用,WinXP系统添加打印机操作无法完成如何解决?

最近有WinXP系统用户反映&#xff0c;添加打印机的时候&#xff0c;出现提示“操作无法完成。打印后台程序服务没有运行”&#xff0c;导致打印机添加失败&#xff0c;用户并不知道这是怎么回事&#xff0c;也不知道该如何解决&#xff0c;为此非常苦恼。下面&#xff0c;针对这…

[转]UIApplicationDelegate分析小结

转载地址&#xff1a;http://www.apkbus.com/android-131646-1-1.html 我们开发出来的运行在iOS平台上的应用程序都有一个UIApplication类的对象。1、是iOS应用程序的起始点&#xff0c;并负责初始化和显示UIWindow&#xff1b;2、负责加载应用程序的第一个UIView到UIWindow中&…

EDIT-SPOOL-临时变量-已定义变量-COLUMN-PAGESIZE-LINESIZE

1 使用EDIT命令 编辑缓冲区内容复制到一个名为afiedt.buf的文件中&#xff0c;然后启动 操作系统默认的编辑器打开这个文件&#xff0c;并且文件内容能够进行编辑。在Windows操作 系统中&#xff0c;默认的编辑器是Notepad(记事本)ED[IT][file_name]其中file_name 默认为afied…