WebDriver 识别反爬虫的原理和破解方法~
作者|志斌
来源|python笔记
有时候我们在爬取动态网页的时候，会借助渲染工具来进行爬取，这个“借助”实际上就是通过使用相应的浏览器驱动(即WebDriver)向浏览器发出命令。
但是有时候使用浏览器驱动来爬取网页时，会遇到这种情况
这时，就代表我们的爬虫程序被反爬了。
今天志斌就来给大家分享一下，如何破解这类特征识别反爬虫之WebDriver识别反爬虫。
01
原理
开发者在开发网页的时候，通过JavaScript设置一个事件，然后让这个事件来调用Navigator对象的webdriver属性，从而来判断客户端是否使用WebDriver驱动浏览器。
如果检测到客户端有webdriver属性，则会返回True，此时反爬虫就会认为这是一个爬虫程序，从而进行限制；如果没有检测到，则会返回False或者Undefined，此时反爬虫不会运行。
检测代码如下：
webdriver = window.navigator.webdriver;
if(webdriver){console.log('请不要使用自动化测试工具访问网页')
}
else{ console.log('正常浏览器')}02
破解
通过学习上面的WebDriver识别反爬虫原理，我们知道反爬虫机制是根据webdriver属性的返回值来判断是否是爬虫程序访问的。
也就是说，当我们用浏览器驱动来爬取网页时，只要我们能够将它的特征给隐藏，让Navigator对象检测不到浏览器驱动，从而使得webdriver属性返回的值为False或者Undefined，此时就破解WebDriver识别反爬虫了。
上面已经分析出来解决方案了，那我们现在就可以书写代码来实现这个方案了，隐藏浏览器驱动特征的代码如下：
driver = webdriver.Chrome()
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
option.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
option.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=option)
with open('stealth.min.js') as f:js = f.read()
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': js
})让我们来看看效果：
此时，文章内容就被正确显示出来了，没有再出现被反爬冲限制。
03
小结
1. 本文详细介绍了如何破解特征识别反爬虫之WebDriver识别反爬虫。
2. 现在很多网站对Selenium套件有着明显的限制，所以破解WebDriver识别反爬虫是一个爬虫工程师必备的技能之一。
3. 本文仅供学习参考，不做它用。
往
期
回
顾
资讯
AI不可以作为专利认证发明人
技术
谷歌新深度学习系统促进放射科
资讯
机器学习可以忘记吗？是个好问题
资讯
Tidio AI 趋势报告！超精彩
分享
点收藏
点点赞
点在看
相关文章：
Linux下文件如果没有权限不能被Apache访问
通过 apache的网站 php和图片都可以显示 就是 Htm页面不行 报错 Forbidden You dont have permission to access /me/1.html on this server. 其实是权限设置问题 可以 到文件所在目录 使用命令查看权限 #ls -al 再使用chmod命令给予足够权限即可 #chmod 0644 文件名…
html标签的显示模式（块级标签，行内标签，行内块标签）（转）
html标签的显示模式（块级标签，行内标签，行内块标签） 今天讲课的时候，讲到了html中的标签的显示模式，大致分为块级标签和行内标签。那么初学者在刚使用标签的时候会发现有些属性在一些标签上不起作用&#x…
RT-thread内核之进程间通信
一、进程间通信机制 rt-thread操作系统的IPC（Inter-Process Communication，进程间同步与通信）包含有中断锁、调度器锁、信号量、互斥锁、事件、邮箱、消息队列。其中前5个主要表现为线程间同步，邮箱与消息队列表现为线程间通信。本…
Linux内核学习四库全书
关于内核学习我建议不要上来就读内核而是先了解内核的构成和特性，然后通过思考发现疑问这时再去读内核源码。即先了解概貌在读局部细节。而且内核分成好多部分，不要只是按照顺序去读，应该针对某一部分比如内存管理或进程管理横向读几本书&…
46W 奖金池等你来战！微众银行第三届金融科技高校技术大赛火热报名中！
青春是什么？张爱玲曾说过，青春是个奇形怪状的玩意儿，短短的身子偏偏拖了一个长长的尾巴，像翅膀一样的招摇着，久久不肯离去。对于你我而言，青春是什么？青春也许是大学里点点滴滴的记忆࿱…
spring cloud快速搭建
为什么80%的码农都做不了架构师？>>> 一：注册中心 服务提供者（简单） 注册中心本身就可以是服务提供者，如果有需求可以分开。 1：pom.xml <?xml version"1.0" encoding"UTF-8…
ubuntu操作系统下载
原文网址：http://www.cyberciti.biz/linux-news/download-ubuntu-14-4-cd-dvd-iso-images/ Download of the day: Ubuntu Linux 14.04 LTS CD / DVD ISO by NIXCRAFT on APRIL 17, 2014 5 COMMENTS LAST UPDATED APRIL 17, 2014 in LINUX NEWS, OPEN SOURCE Ubuntu…
Linux内核模块编程入门
针对2.6内核的Linux系统，需要你的机器上已经安装了kernel-devel这个包，也就是编译模块所必须的东西：内核的头文件和一些Makefile。 一，Hello World程序： [code:1:fbc83fc10a]/*file: hello.c*/ #ifndef __KERNEL__ #…
2021中国国际消费电子博览会和青岛国际软件融合创新博览会盛大开幕
9月24日，备受瞩目的2021中国国际消费电子博览会(简称“电博会”)和青岛国际软件融合创新博览会(简称“软博会”)在青岛国际会展中心盛大开幕。国家工信部原副部长杨学山，国家工信部信息技术发展司副司长江明涛，中国机电产品进出口商会秘书长郭…
oracle 11g wm_concat 、 listagg 函数的使用（合并数据）
方法一 wn_concat() 函数 1、把以下图中Name一样的数据合并为一条，而且NO的值要这样显示如 C.1,C.2 2、实现这种效果的操作如下，先把Name的值进行分组（group by），再把NO的值用 wm_concat()函数合并起来（注意…
使用Cacti监控你的网络Cacti的安装
声明：本系列文档出自石头记，如若转载请注明出处，本人保留文档的所有权，并欢迎转载。本系列文档的其他部分链接如下：一、概述及Cacti的工作流程二、Cacti的安装三、Cacti的使用四、Cacti脚本及模板五、Cacti插件六、Cac…
AI 被当做炒作工具？
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 上班路上由于高峰期，眼看就要迟到了，这个时候会想“如果汽车能自动完成这种高度重复的动作，我就可以在路上参加我的会议了”。但是你必须每几秒踩一次油门࿰…
毕业五年后差距
毕业五年后差距正如"打工皇帝"唐骏说："我觉得有两种人不要跟别人争利益和价值回报。第一种人就是刚刚进入企业的人，头5年千万不要说你能不能多给我一点儿工资，最重要的是能在企业里学到什么，对发展是不是有利……&…
我的新技术博客
我是一个技术小白，我开启一片新的空间转载于:https://blog.51cto.com/13526168/2048988
Varnish使用小结
文章原始出处和作者信息及 本声明http://iyubo.blogbus.com/logs/35085709.html此日志会随时更新，当然，是随着我的应用积累:) 实现静态文件压缩 Varnish itself does not compress or decompress objects, although that has been on our wish list fo…
EF 通用数据层类
EF 通用数据层父类方法小结 转载：http://www.cnblogs.com/yq-Hua/p/4165344.html MSSql 数据库 数据层 父类 增删改查： using System; using System.Collections.Generic; using System.Data; using System.Data.Entity; using System.Data.Entity.Infra…
最新的B站弹幕和评论爬虫，你们要的冰冰来啦！
作者 | 周萝卜 来源 | 萝卜大杂烩 最近想爬下B站的弹幕和评论，发现网上找到的教程基本都失效了，毕竟爬虫和反爬是属于魔高一尺、道高一丈的双方，程序员小哥哥们在网络的两端斗智斗勇，也是精彩纷呈。 当然了，对于爬虫…
K：java中的序列化与反序列化
Java序列化与反序列化是什么？为什么需要序列化与反序列化？如何实现Java序列化与反序列化？以下内容将围绕这些问题进行展开讨论。 Java序列化与反序列化 简单来说Java序列化是指把Java对象转换为字节序列的过程；而Java反序列化是指…
千万级并发HAproxy均衡负载系统介绍
Haproxy介绍及其定位 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。 HAProxy特别适用于那些负载特大的web站点， 这些…
中国的“Databricks”们：打造AI基础架构，我们是认真的
AI落地最大的驱动因素是基础架构的升级。 近年来，大数据分析、AI等领域一直备受关注，常有引人关注的融资事件发生。美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资，其最新估值高达380亿美元，相比7个月前G轮融资…
更改git bash默认的路径
在打开git bash时，每次都是在C:\Uer路径下，每次都需要先用cd命令转换到自己需要工作的路径（cd /f/dss）。修改打开git bash 时的默认的路径就可以不用每次都使用cd命令转换到需要管理的目录。 修改默认路径方法：右击Gi…
Gradle入门系列（4）：创建二进制发布版本
本文由 伯乐在线 - JustinWu 翻译。未经许可，禁止转载！ 英文出处：petrikainulainen。欢迎加入翻译组。 在创建了一个实用的应用程序之后，我们可能想将其与他人分享。其中一种方式就是创建一个可以从网站上下载的二进制文件。 这篇…
什么是A记录、MX记录、CNAME记录
什么是A记录？ A (Address) 记录是用来指定主机名（或域名）对应的IP地址记录。用户可以将该域名下的网站服务器指向到自己的web server上。同时也可以设置域名的子域名。通俗来说A记录就是服务器的IP,域名绑定A记录就是告诉DNS,当你输入域名的…
Graph + AI 2021中国峰会：TigerGraph与行业共探图与AI应用前景
由企业级可扩展图分析平台TigerGraph主办的第二届“Graph AI中国峰会”将于10月20日线上举办，本届主题为“图创未来无界精彩”。作为全球唯一一个专注于图技术的行业峰会，“Graph AI峰会”自开办以来，受到数据行业专家及应用领域伙伴的持续…
rrdtool数据备份与迁移
rrdtool 显示错误ERROR: This RRD was created on another architecture rrdtool数据备份与迁移1.在原服务器生成xml文件 …
Format specifies type 'id' but the argument has type 'NSError *__autoreleasing *
我想打印error，但是出现了标题中的错误，代码如下： -(id)yobee_responseObjectForResponse:(NSURLResponse *)response data:(NSData *)data error:(NSError *__autoreleasing *)error { if (error) { NSLog("url ----> %\n error %&…
域名解析和cdn 原理
用户访问未使用CDN缓存网站的过程为: 1)、用户向浏览器提供要访问的域名； 2)、浏览器调用域名解析函数库对域名进行解析，以得到此域名对应的IP地址； 3)、浏览器使用所得到的IP地址，域名的服务主机发出数据访问请求； 4)…
首批 iPhone 13 用户直呼太“坑”：拍照有马赛克、不能用高刷、还与 Apple Watch “失联”？...
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）iPhone 13 到底香不香，早在 9 月 15 号的苹果秋季发布会上给了我们答案。对此，自然是仁者见仁智者见智：有人认为 iPhone 13 “加量不加价”挺划算，有人则…
《javascript语言精粹》读书笔记（一）
为什么80%的码农都做不了架构师？>>> 第一章 精华 任何语言都有其精华的部分和鸡肋的部分，javascript也不例外，而且鸡肋的部分还很多。但javascript的流行却不受他的质量影响。javascript为何如此流行？因为他是web浏览…
WPF 与Surface 2.0 SDK 亲密接触–LibraryContainer 篇
最近比较懒惰一直都没写东西，再不写笔里的墨水就快干了。看过前面关于LibraryStack 和LibraryBar 的介绍后，大家可能已经对Library 控件系列有了进一步了解，本篇将继续介绍LibraryContainer，它其实就是LibraryStack、LibrayBar 的…