【Python3爬虫】常见反爬虫措施及解决办法（二）...
【Python3爬虫】常见反爬虫措施及解决办法（二）
这一篇博客，还是接着说那些常见的反爬虫措施以及我们的解决办法。同样的，如果对你有帮助的话，麻烦点一下推荐啦。
一、防盗链
这次我遇到的防盗链，除了前面说的Referer防盗链，还有Cookie防盗链和时间戳防盗链。Cookie防盗链常见于论坛、社区。当访客请求一个资源的时候，他会检查这个访客的Cookie，如果不是他自己的用户的Cookie，就不会给这个访客正确的资源，也就达到了防盗的目的。时间戳防盗链指的是在他的url后面加上一个时间戳参数，所以如果你直接请求网站的url是无法得到真实的页面的，只有带上时间戳才可以。
这次的例子是天涯社区的图片分社区：
这里我们先打开开发者工具，然后任意选择一张图片，得到这个图片的链接，然后用requests来下载一下这张图片，注意带上Referer字段，看结果如何：
import requests
url = "http://img3.laibafile.cn/p/l/305989961.jpg"
headers = {
"Referer": "http://pp.tianya.cn/",
"UserAgent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36"
}
res = requests.get(url)
with open('test.jpg', 'wb') as f:
f.write(res.content)
我们的爬虫正常运行了，也看到生成了一个test.jpg文件，先别急着高兴，打开图片看一下：
一口老血吐了出来，竟然还有这种套路！怎么办呢？往下看！
解决办法：
既然他说仅供天涯社区用户分享，那我们也成为他的用户不就行了吗？二话不说就去注册了个账号，然后登录，再拿到登录后的Cookie：
__auc=90d515c116922f9f856bd84dd81; Hm_lvt_80579b57bf1b16bdf88364b13221a8bd=1551070001,1551157745; user=w=EW2QER&id=138991748&f=1; right=web4=n&portal=n; td_cookie=1580546065; __cid=CN; Hm_lvt_bc5755e0609123f78d0e816bf7dee255=1551070006,1551157767,1551162198,1551322367; time=ct=1551322445.235; __asc=9f30fb65169320604c71e2febf6; Hm_lpvt_bc5755e0609123f78d0e816bf7dee255=1551322450; __u_a=v2.2.4; sso=r=349690738&sid=&wsid=71E671BF1DF0B635E4F3E3E41B56BE69; temp=k=674669694&s=&t=1551323217&b=b1eaa77438e37f7f08cbeffc109df957&ct=1551323217&et=1553915217; temp4=rm=ef4c48449946624e9d7d473bc99fc5af; u_tip=138991748=0注意：Cookie是有时效性的，具体多久就会失效我没测试。紧接着把Cookie添加到代码中，然后运行，可以看到成功把图片下载下来了：
搞了这么久才下了一张图片，我们怎么可能就这么满足呢？分析页面可知一个页面上有十五张图片，然后往下拉的时候会看到"正在加载，请稍后"：
我们立马反应过来这是通过AJAX来加载的，于是打开开发者工具查看，可以找到如下内容：
可以看到每个链接“？”前面的部分都是基本一样的，“list_”后面跟的数字表示页数，而“_=”后面这一串数字是什么呢？有经验的人很快就能意识到这是一个时间戳，所以我们来测试一下：
import time
import requests
t = time.time()*1000
url = "http://pp.tianya.cn/qt/list_4.shtml?_={}".format(t)
res = requests.get(url)
print(res.text)
运行之后得到了我们想要的结果。现在我们已经能用代码构造链接了，那我们怎么知道最多有多少页呢？我们先继续拖动滚轮下拉页面，发现出现第5页之后就没有了：
这怎么办呢？不急，我们不是已经能自己构造链接了嘛，我们可以通过改变“list”后面的数字来得到更多的页面啊。不过我自己测试的结果是最多只有15页，之后再怎么增大数字也没用了，应该是服务器做了限制，最多只给15页的数据。下图是我把数字改为16后返回的结果：
最后编写程序并运行，就能把图片下载下来了：
完整代码已上传到GitHub！
二.随机化网页源码
用display:none来随机化网页源码，有网站还会随机类和id的名字，然后再加点随机的tr和td，这样的话就增大了我们解析的难度。比如全网代理IP：
解决办法：
可以看到每个IP都是包含在一个class为“ip”的td里的，所以我们可以先定位到这个td，然后进行下一步解析。虽然这个td里面包含了很多的span标签和p标签，而且也每个标签的位置也没有什么规律，不过还是有办法解析的。方法就是把这个td里的所有文字提取出来，然后把那些前后重复的部分去除掉，最后拼接到一起就可以了，代码如下：
1 et = etree.HTML(html) # html：网页源码 2 for n in range(1, 21): 3 lst = et.xpath('//table/tbody/tr[{}]/td[1]//text()'.format(n)) 4 proxy = "" 5 for i in range(len(lst) - 1): 6 if lst[i] != lst[i + 1]: 7 proxy += lst[i] 8 proxy += lst[-1] 9 print(proxy)
最后就能得到我们想要的数据了。不过我们得到的端口数据和网页上显示的数据是不一样的，这是因为端口数据是经过了JS混淆的，至于怎么破解，下次会分享出来。
原文地址https://www.cnblogs.com/TM0831/p/10436608.html
相关文章：
【原创】ListView快速滚动至新添加一行（自动滚动）
在C#开发中我们经常要开发一些日志系统，尤其是基于ListView的日志显示系统。但是当日志增多是你是否有一些困扰，就是它为什么不会自动滚动至最后一行。以下是一小段代码，希望可以帮助你. public void addLog(string logString) { lock (_lock…
MFC调用CFileDialog之后目录居然会改变，调试了好久终于发现是这个问题
MFC调用CFileDialog之后目录居然会改变，调试了好久终于发现是这个问题，上网搜了下，发现也有人和我出现相同的问题。他的博客如下： http://www.programlife.net/current-directory-changed-after-using-cfiledialog.html MFC调用C…
mysqlls_mysql基本命令
1、Mysql启动命令：命令行内容为：\>net start mysql运行情况如图1所示：图1(Mysql启动命令)2、连接Mysql服务器：命令行内容为：\>mysql -u root -h hostaddress -p password其中，root为Mysql的用户名&a…
2019年3月
分包加载 使用公众号登录微信提示 "公众号暂不支持此种登录方式" 使用已经注册过的手机号注册新的微信账号提示 "你申请注册的手机号已被其他微信号绑定,暂时不能使用该手机号注册" https://github.com/witcat/LayaWxCacheFromZip /******/ (functio…
8天学通MongoDB——第三天 细说高级操作
原文地址:http://www.cnblogs.com/huangxincheng/archive/2012/02/21/2361205.html 今天跟大家分享一下mongodb中比较好玩的知识，主要包括：聚合，游标。 一： 聚合 常见的聚合操作跟sql server一样，有：count&…
UVA 10954 Add All
UVA_10954 看了别人解题报告之后发现累加的过程可以这样操作，每次取最小的两个元素加和，然后把和当作一个新元素放进集合，直到剩下一个元素，然后把中间结果加起来就是要求的结果。实际上这个题目就是哈弗曼编码，在LRJ树…
Java将mysql输出csv,如何从Java中的Access数据库导出表并将其保存到.csv
I am trying to export a lot of large tables from a MS Access db with java using the jdbc:odbc bridge. I wanted to save these tables to a CSV file first was wondering what would the best way to do this would be? any help would be appreciated.解决方案Fetch …
windows下nodejs express安装及入门网站,视频资料，开源项目介绍
windows下nodejs express安装及入门网站,视频资料，开源项目介绍，pm2,supervisor,npm,Pomelo,Grunt安装使用注意事项等总结 第一步：下载安装文件下载地址：官网http://www.nodejs.org/download/ 第二步：安装nodejs下载完…
python 之 pip、pypdf2 安装与卸载
pip是个啥？ pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。 第一步：pip 下载：https://pypi.org/project/pip/#files 第二步：解压，进入目录python pip\pi…
eclipse 3.55安装j2ee开发工具
选择help--->install new software -->work width --选择下拉框选择要安装插件转载于:https://www.cnblogs.com/yjhrem/articles/2309602.html
mysql中没有内置函数_[mysql]MySQL中的内置函数
用在select 语句，以及子句where order by hacing 中 update delete函数中可以将字段名作为字段来用，变量的值就是这个列对应的每一行记录。一、字符串函数php中用到的函数，mysql中大部分也提供了1、CONCAT(”字符串”,字段&…
tiny210V2 Uboot kernel filesystem 烧写和启动
1.sd启动 将u-boot镜像写入SD卡 将SD卡通过读卡器接上电脑（或直接插入笔记本卡槽），通过"cat /proc/partitions"找出SD卡对应的设备，我的设备节点是/dev/sdb.执行下面的命令$sudo dd iflagdsync oflagdsync iftiny210-ub…
Linux下Shell日期的格式
2019独角兽企业重金招聘Python工程师标准>>> 不管是哪种语言，日期/时间都是一个非常重要的值。比如我们保存日志的时候，往往是某个前缀再加上当前时间，这样日志文件名称就可以做到唯一。在Shell环境里，我们获取时间的命…
usaco 6.1
6.1.2 rectbarn 首先要注意空间的消耗,3000*3000 大概10m的样子(最多16m),只够开个char,本想套用big barn的dp方法,定义struct [i,j]{int l;int h}来表示以(i,j)为右上顶点的矩形,貌似这样会爆,只好考虑其它解法(参考wc2003王知昆的论文). 大概思路: 定义h[i,j],l[i,j],r[i,j]分…
docker mysql详解_Docker轻松入门（详解）
一 Docker简介Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙…
[恢]hdu 2014
2011-12-12 05:46:08 地址：http://acm.hdu.edu.cn/showproblem.php?pid2014 题意：中文题。 mark：wa了3次！！！因为敲错变量！！！min敲成了num，各种二。可能是困了…
java在继承中父类的成员变量是否会被子类所覆盖
假如 父类 int num 7；子类 int num 9；父类是否会被子类所覆盖? 给你看两个例子： 第一个例子： 第二个例子： 这两个例子的区别只有一句话 由此证明了子类从父类继承的时候 如果有同名的成员变量 默认情况下 父类的成…
长连接及在Node中的应用——HTTP/1.1 keep-alive
HTTP请求都要经过TCP三次握手建立连接，四次分手断开连，如果每个HTTP请求都要建立TCP连接的话是极其费时的，因此HTTP/1.1中浏览器默认开启了Connection: keep-alive。 请求头中的这个属性的作用可以在请求完成后，保持TCP连接一段时…
python 桑基图 地理坐标_【转载】Python数据可视化-实现Sankey桑基图
根据不完整统计，90%想用sankey图的朋友都是因为被它炫酷的外表所吸引，举个例子：在这里插入图片描述关于sankey图的定义是这样描述的：即桑基能量分流图，也叫桑基能量平衡图。它是一种特定类型的流程图，图中延…
[恢]hdu 2015
2011-12-14 05:49:09 地址：http://acm.hdu.edu.cn/showproblem.php?pid2015 题意：中文，忒麻烦了。 代码： # include <stdio.h>int main (){int n, m, flag ;int i, sum, cnt ;while (~scanf ("%d%d", &n, &a…
http://www.shanghaihaocong.com-WORDPRESS开发的企业主题站
wordpress是世界上使用最多的php开源博客系统，功能强大，而且拥有众多的插件，可扩展性强。 最近，我也用它做了一个企业网站，欢迎浏览：http://www.shanghaihaocong.com，上海灏璁实业有限公司转载于…
蓝桥杯 扑克序列(全排列)
扑克序列 A A 2 2 3 3 4 4， 一共4对扑克牌。请你把它们排成一行。要求：两个A中间有1张牌，两个2之间有2张牌，两个3之间有3张牌，两个4之间有4张牌。 请填写出所有符合要求的排列中，字典序最小的那个。 例如&a…
tensorflow with求导_3.4tensorflow2.x自动求导原理函数详解
自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取：1.1 tensorflow2.x自动求导1.1.1 自动求导GradientTape类GradientTape的作用就是用于自动求导，需要有自变量x和因变量y，调用gradient(y…
WinRAR也能实现智能备份
日志 唐山郎￥ 一切随缘,顺其自然.加博友 关注他 最新日志 2012年意味着机会还是灾难墙壁网线插座的接法佛度有缘人我~想~你，但不。会找你asp.net"服务器应用程序不可超惊艳! 古装美女超精美剪辑该作者的其他文章 博主推荐 相关日志 随机阅读 首页推…
MediaCodeC解码视频指定帧，迅捷、精确
原创文章，转载请联系作者 若待明朝风雨过，人在天涯！春在天涯 原文地址 提要 最近在整理硬编码MediaCodec相关的学习笔记，以及代码文档，分享出来以供参考。本人水平有限，项目难免有思虑不当之处，…
threejs 绘制球体_ThreeJs 绘制点、线、面
所有的三位物体都是由点构成，两点构成线，三点构成面，ThreeJs又如何绘制出点、线、面呢 ？在ThreeJs中：模型由几何体和材质构成模型以何种形式(点、线、面)展示取决于渲染方式1. 几何体首先我们来创建一个自定义的几何体…
model多表操作
一. 创建模型 from django.db import models# Create your models here.#比较常用的作者信息放到这个表里面 class Author(models.Model): id models.AutoField(primary_keyTrue)namemodels.CharField(max_length32)agemodels.IntegerField()authorDetailmodels.OneToOneField…
cocos2d-x注意事项（十）Lua发展飞机战争-4-创建主角
二战中被称为二战飞机飞机，当然，以飞机作业。这是一个游戏，我们必须加入一个飞机——这是我们的英雄。 首先创建一个层（PlaneLayer）要显示飞机。然后，create飞机初始化方法 module("PlaneLayer",…
.PHONY makefile中的伪目标
拿clean举例，如果make完成后，自己另外定义一个名叫clean的文件，再执行make clean时，将不会执行rm命令。 为了避免出现这个问题，需要.PHONY: clean所谓伪目标就是这样一个目标，它不代表一个真正的文件名&…
jq父级绑定事件的意义_jq——事件
$(document),$(body)加载事件：$(document).ready(fn)$(document).ready(function(){ alert("这是加载事件"); });简写：$(function(){});工作中简写比较多js:window.οnlοadfn 把页面上的DOM和资源加载完成之后执行jq:$(document).ready(fn)…