反爬虫

Day93 突破反爬虫策略免费看

使用不同的User-Agent来规避反爬策略,在中间件中设置User Agent

10-08侠课岛    新上线 基础入门       

后端/后端/Python 由浅入深入门 16     0     150

总结

1.什么是爬虫和反爬虫

  • 爬虫是使用任何技术手段批量获取网站信息的一种方式,反爬虫是使用任何技术手段阻止别人批量获取自己网站信息的一种方式;

2.User-Agent介绍

  • User Agent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分,User Agent也简称UA。它是一个特殊字符串头,是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识;

  • User-Agentheaders中的一个属性,表示当前访问服务器的身份信息,如果同一个身份过于频繁的访问服务器会被识别为机器身份,遭到反爬的打击,所以需要频繁的更改User-Agent信息;

  • User-Agent字段解析:浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息;

3.使用不同的User-Agent来规避反爬策略

  • 想要随机更改User-Agent,首先我们可以在蜘蛛文件的Spider类中添加一个header请求头,很多网站只需要userAgent信息就可以通过,但是有的网站还需要验证一些其他的信息,所以我们可以在请求头中添加一些需要用到的字段,比如:

  • Accept:客户端支持的数据类型,用逗号隔开,是有顺序的,分号前面是主类型,分号后是子类型;

  • Accept-Encoding:指定浏览器可以支持的web服务器返回内容压缩编码类型;

  • Accept-Language:浏览器可接受的自然语言的类型;

  • Connection:设置HTTP连接的持久化,通常都是Keep-Alive;

  • host:服务器的域名或IP地址,如果不是通用端口,还包含该端口号;

  • Referer:指当前请求的URL是在什么地址引用的;

  • 添加完请求头需要的字段,我们可以在settings.py 文件中手动创建一个User-Agent列表。然后在项目中创建一个utils.py文件,在这个文件中自定义一个随机函数。最后修改蜘蛛文件中的parse()方法,导入相关模块,调用自定义的随机函数生成随机User-gent添加到headers请求头中;

4.调试工具

  • 打开你需要爬虫的网页;

  • 按键盘的F12或手动去浏览器右上角的“更多工具”选项选择开发者工具;

  • 按键盘的F5刷新网页;

  • 选择Network中的Doc;

  • 点击Headers,就可以在最末尾查看Request Headers的User-Agent字段,也可以复制使用User-Agent字段;

本教程图文或视频等内容版权归侠课岛所有,任何机构、媒体、网站或个人未经本网协议授权不得转载、转贴或以其他方式复制发布或发表。

评价

16

本课评分:
  •     非常好
难易程度:
  •     适中的

内容目录



|
教程
粉丝
主页

签到有礼

已签到2天,连续签到7天即可领取7天全站VIP

  • 1
    +2 金币
  • 2
    +3 金币
  • 3
    +5 金币
  • 6
    +7 金币
  • 5
    +6 金币
  • 4
    暖心福利
    自选分类VIP ×1天
  • 7
    惊喜大礼

    自选分类VIP ×3天 +20金币
  • 持续签到 +8 金币

金币可以用来做什么?