echarts 软件测试工程师 Eclipse cakephp constructor ant jqgrid handlebarsjs vue教程入门 android项目开发 jquery解析json数据 python使用教程 python变量类型 python路径设置 java入门 java抽象类 java的substring java数据结构 java的数据类型 java数组添加 java方法的重载 java接口文档 java最新框架 java时间转换 java格式化字符串 java命令 java时间转时间戳 java的框架 java系统学习 linux密码忘记 战地2单机地图 ILspy js删除数组指定元素 通达信金融终端官网 fireworks8 dnf武极刷图加点 无限视距 go程序设计语言 mysql时间比较 跑马灯动态壁纸
当前位置: 首页 > 学习教程  > 编程语言

爬虫笔记4模拟登陆

2021/1/13 20:42:34 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

这次模拟4399的登陆 这篇不难,主要是学到了这几点 requests模块有个session方法可以记录网页的cookie模拟登陆的时候有两个请求,第一个是用来登陆的,第二个是用来保存登陆界面的一般的登陆都是post传参 但是我们只需要提供用户名和密码 就可…

这次模拟4399的登陆
这篇不难,主要是学到了这几点

  • requests模块有个session方法可以记录网页的cookie
  • 模拟登陆的时候有两个请求,第一个是用来登陆的,第二个是用来保存登陆界面的
  • 一般的登陆都是post传参在这里插入图片描述
    但是我们只需要提供用户名和密码
    就可以这样写
data={}
data["username"]="1093533435"
data["password"]="liouyuwen"

先附上源代码

import requests
session=requests.Session()
url="https://ptlogin.4399.com/ptlogin/login.do?v=1"
urlpro="https://u.4399.com/profile/"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
data={}
data["username"]="xxxxxx"
data["password"]=xxxxxx"
res=session.post(url=url,data=data,headers=headers)
profile=session.get(url=urlpro,headers=headers).text
with open("4399.html","w",encoding='utf-8') as fp:
    fp.write(profile)

调用Session方法

import requests
session=requests.Session()

此后所有的请求就不用requests.get/post而使用session.getsession.post

配置爬虫发起请求

url="https://ptlogin.4399.com/ptlogin/login.do?v=1"
urlpro="https://u.4399.com/profile/"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
data={}
data["username"]="xxxxxx"
data["password"]=xxxxxx"
res=session.post(url=url,data=data,headers=headers)
profile=session.get(url=urlpro,headers=headers).text

第一个请求不需要在后面加格式,就是用来发起请求,得到cookie并登入进去
第二个请求就是用来获取登入后的界面的

文件保存

with open("4399.html","w",encoding='utf-8') as fp:
    fp.write(profile)

在这里插入图片描述
可以看到已经爬出来了


本文链接: http://www.dtmao.cc/news_show_600418.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?