php 爬虫_Rad爬虫结合W13Scan扫描器挖掘漏洞
一、背景
这几天一直在研究W13Scan漏洞扫描器，因为对Python不是太熟悉，所以进度有点慢，一直没看懂怎么将代理请求的数据转发到扫描队列中去，决定先熟悉熟悉这个功能再说；Rad爬虫最近比较火，于是就是就选择它了
W13scan 是基于Python3的一款开源的Web漏洞发现工具,它支持主动扫描模式和被动扫描模式，能运行在Windows、Linux、Mac上。
二、搭建靶场
在扫描之前我们需要准备一个靶场系统，这里我选择的是permeate渗透测试系统，搭建方法在之前的文章已经写过了，这里就不再重新赘述，文章地址:https://segmentfault.com/a/1190000017151621 ，这里有几条关键的命令
搭建一个Mysql数据库，执行命令如下
docker run --name mysqlserver -e MYSQL_ROOT_PASSWORD=123 -d -i -p 3309:3306 mysql:5.6搭建permeate，执行命令如下
docker run --name permeate_test --link mysqlserver:db -d -i -p 8888:80 daxia/websafe:latest启动nginx和php-fpm，执行命令如下
docker exec permeate_test zsh -c "php /root/start.php"上面的命令执行完毕之后，我们就可以访问靶场系统了，打开的网址为
http://youIp:8888/index.php使用浏览器访问的界面如下图所示
在上图中可以看到已经显示了区块和板块，说明搭建成功，如果没有显示区块，有可能是数据库地址填写的不对，仔细看看安装文章就好了。
三、启动代理
接下来我们需要把W13Scan使用代理服务模式启动，启动的命令如下所示
python3 W13SCAN/w13scan.py -s 0.0.0.0:7777命令执行完毕之后，命令窗口会返回如下图所示信息
在上图中我们可以看到服务已经启动了，并提示扫描结果会存放在当前目录下的./W13SCAN/output/12_03_2020/目录中，我们暂且知道有这样一个目录即可。
四、启动爬虫
接下来我就需要将我的请求都转发到W13Scan漏洞扫描器中，因为我是不知道permeate渗透测试系统有多少个页面的，而且人工去找速度慢不说，也不太现实；
为了快速排查整个站点的安全情况，所以用上了RAD爬虫去抓取整个网站的链接，同时将他的代理地址设置W13Scan的代理服务地址，这样就相当于让让W13Scan扫描器去扫描了整个站点。
启动rad爬虫并设置代理地址的命令如下所示
.rad_windows_amd64.exe -t http://192.168.152.135:8888/home/index.php --http-proxy 127.0.0.1:7777执行RAD爬虫命令之后，窗口返回的结果如下图所示
在命令执行窗口中我们可以看到RAD爬虫已经抓取到了部分的链接地址，说明我们的命令是正确的，晚一点再去./W13SCAN/output/12_03_2020/目录中查看扫描结果就好了
如果不想使用rad爬虫，也可以把浏览器的代理地址设置为127.0.0.1:7777，然后自己去点击一些页面，这样就可以对你正在浏览的网站进行安全漏洞扫描，这里我就不用浏览器演示了；五、查看结果
扫描一段时间之后，在W13Scan扫描器的执行窗口中，我也看到扫描到安全漏洞的提示，但比较简要。
这里我直接去查看w13scan扫描器的扫描结果，打开扫描结果的执行文件如下所示
在上图中我们可以看到，扫描到了9个漏洞，分别有XSS、JS文件敏感内容匹配、.git泄露等类型。
有了这个W13Scan我们很多时候可以躺着去挖洞了，_
作者: 汤青松
日期：2020-12-04
相关文章：
Python 爬取网页HTML代码
#/usr/bin/env python #-*- coding:utf-8 -*-import urllib2 import sys import chardetreq urllib2.Request("http://tycool.top/") content urllib2.urlopen(req).read() typeEncode sys.getfilesystemencoding()##系统默认编码 infoencode chardet.detect(con…
区块链兼容以太坊智能合约
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 引言 随着区块链技术以及应用的普及，越来越多的区块链出现在大众视野中。由于区块链技术的开源特性，任何公司和个人都可以…
Linux常用命令--网终设置
1、把自己（sa）添加到sudoers配置文件中，以便于获取权限 vim /etc/sudoers 编辑文件（部分centOS版本没有vim命令，则用vi即可） 找到【root ALL(ALL) ALL】语句，在下面添加： sa ALL…
python示例异常处理与程序调试_笔记：Python异常处理与程序调试
Python异常处理与程序调试Python提供了强大的异常处理机制，通过捕获异常可以提高程序的健壮性。异常处理还具有释放对象，中止循环的运行等作用。在程序运行的过程中，如果发生了错误，可以返回事先约定的一个错误代码。"try...…
js传入参数为字符串问题
示例： var device_mac"11qweq234ert";//第一种方式会报错：Onclick SyntaxError: identifier starts immediately after numeric literal，数字后面紧跟着字符这种写法只有device_mac是数字的时候是正确的。传入的为字符串则应该使用…
区块链热度背后的资本市场
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 进入2018年之后大家对于加密数字货币以及区块链等话题都各自有各自的意见和想法，很多人觉得区块链技术和加密数字货币是泡沫ÿ…
袋鼠过河（动态规划）
题目描述 一只袋鼠要从河这边跳到河对岸，河很宽，但是河中间打了很多桩子，每隔一米就有一个，每个桩子上都有一个弹簧，袋鼠跳到弹簧上就可以跳的更远。每个弹簧力量不同，用一个数字代表它的力量，如…
jenkins-svn配置
转载于:https://www.cnblogs.com/caer/p/5924337.html
python查看所有异常_如何获取python异常发生的实际行号？
如果你想按你描述的那样做from functools import wrapsimport sys, os, tracebackdef catch_exceptions(function):wraps(function)def decorator(*args, **kwargs):try:return function(*args, **kwargs)except Exception as e:exc_type, exc_obj, exc_tb sys.exc_info()prin…
区块链从一夜暴富到一夜暴“负”的辛酸史
3.15打假日，打假虽然年年有，但与往年有别的是，今年区块连技术得到了诸多重视以及初步发展，一些带有诈骗性质的数字资产交易所在用血腥的方式不断收割着更低层级的用户，而这些平台的受害者，却往往得不到任何…
iOS消息转发
消息转发是一种功能强大的技术，可以大大增加Objective-C的表现力。什么是消息转发？简而言之，它允许未知的消息被困住并作出反应。换句话说，无论何时发送未知消息，它都会以一个很好的包发送到您的代码中，…
python参数类型限定_python限定方法参数类型、返回值类型、变量类型等|python3教程|python入门|python教程...
https://www.xin3721.com/eschool/python.htmltyping模块的作用自python3.5开始，PEP484为python引入了类型注解(type hints)类型检查，防止运行时出现参数和返回值类型、变量类型不符合。作为开发文档附加说明，方便使用者调用时传入和返回参数…
CentOS VMware 配置IP小结 静态 配置 桥接 NAT
系统启动后可先ping下外网或局域网内其它机器。如果配置虚拟机时选择的NAT上网方式，后面需要配置固定IP，请先参见VMware NAT方式下设置静态IP获得可用的IP范围和网关等信息。先将ifcfg-eth0备份到home目录下，不要放在与它同一目录下ÿ…
区块链简史：解读这场技术革命的前世今生
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 真格基金徐小平的一个“内部讲话”被泄露，揭开了创投圈对区块链的新一轮热衷。 在这份微信群的“内部讲话”中，徐小平把区块…
IncDec Sequence（codevs 2098）
题目描述 Description 给定一个长度为n的数列{a1,a2...an}，每次可以选择一个区间[l,r]，使这个区间内的数都加一或者都减一。 问至少需要多少次操作才能使数列中的所有数都一样,并求出在保证最少次数的前提下,最终得到的数列有多少种。 输入描述 Input…
C++ 中set
set特点： 所有元素不会重复，重复插入已经有的新值无效；所有元素按顺序排列；unordered_set除外键和值相同，所以set中的值是不可更改的set的各成员函数列表如下: 1.begin()--返回指向第一个元素的迭代器 // 如果当前容器…
python自动排课表_【python-leetcode210-拓扑排序】课程表Ⅱ
现在你总共有 n 门课需要选，记为 0 到 n-1。在选修某些课程之前需要一些先修课程。 例如，想要学习课程 0 ，你需要先完成课程 1 ，我们用一个匹配来表示他们: [0,1]给定课程总量以及它们的先决条件，返回你为了学完所有课…
简单粗暴告诉你什么是区块链
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 区块链是什么？它是如何工作的？ 比特币已经成为现代互联网的潮流 - 随之而来的是区块链。人们说区块链技术将导致互联网运作…
【Codeforces】Round #375 (Div. 2)
Position:http://codeforces.com/contest/723 我的情况 啊哈哈，这次raiting肯定要涨，接受过上次的教训，先用小号送肉，大号都是一发切，重回蓝咯 结果。。。 FST！！ 不，这次是skip&…
python的matplotlib背景线_python中matplotlib的颜色及线条 控制
https://www.cnblogs.com/darkknightzh/p/6117528.htmlhttps://blog.csdn.net/qq_34337272/article/details/795555441.设置栅格(1)使用pyplot api命令打开栅格:plt.grid(true)设置栅格格式：plt.grid(colorr, linestyle--, linewidth1,alpha0.3)(2)使用axes类面向对…
系统权限设计思路
权限系统通常包括如下基本元素：用户、角色、权限、资源、操作。 角色分类：总经理、部长、员工。（在实际中一个用户可能存在多个角色，这就要考虑到权限累加处理） 权限分类：如”员工考勤权限”、”审核权限”…
“区块链”究竟是什么
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 什么是区块链？ 说到区块链，就不得不说比特币。 2008年底，比特币之父中本聪发表了一个关于他研究的电子现金…
leetcode 179. 最大数
给定一组非负整数，重新排列它们的顺序使之组成一个最大的整数。 示例 1: 输入: [10,2] 输出: 210 示例 2: 输入: [3,30,34,5,9] 输出: 9534330 说明: 输出结果可能非常大，所以你需要返回一个字符串而不是整数。 自己写了很久的比较函数，时钟有…
cf-Sasha and Array
题目链接 http://codeforces.com/problemset/problem/719/E 解题思路 矩阵上的线段树。 因为矩阵有分配律（AB）C AC BC，所以计算总和时直接把增量矩阵乘上去就行了。用矩阵快速幂。 fib的计算尽量拉到主函数计算。 代码 #include<stdio.h…
实对称矩阵的性质_浅谈矩阵的相似对角化（一）
森屿瑾年：浅谈线性变换和矩阵之间的关系zhuanlan.zhihu.com通过前面的讨论，我们引出了线性变换在不同基下的矩阵之间的关系，知道了线性变换在不同基下的矩阵是相似的，进而我们可以通过选取不同的基，使得线性变换在这…
区块链技术未来可能用于哪些方面？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 当世界上从100比特币购买25美分的比萨饼，到一比特币兑换4800人民币的天价，在这风起云涌的纪念，我们见证了一个…
tomcat启动
tomcat的启动一般是从startup.bat/startup.sh开始，然后启动catalina.bat/catalina.sh，然后启动bootstrap.jar包 那么它们启动的时候都做了哪些事情呢？ 首先是startup.bat，startup.bat做了什么？ 第二是catalina.bat&…
ERROR： from PIL import Image ImportError: No module named PIL
ERROR： from PIL import Image ImportError: No module named PIL 到 http://www.pythonware.com/products/pil/ 下载相关支持的版本 我的是python2.7 直接打开，然后一路按“下一步”，就行 转载于:https://www.cnblogs.com/jakejian/p/8992…
python中font_Python ColorFont包_程序模块 - PyPI - Python中文网
控制台打印彩色字体0 黑色 8 灰色1 蓝色 9 淡蓝色2 绿色 A 淡绿色3 浅绿色 B 淡浅绿色4 红色 C 淡红色5 紫色 D 淡紫色6 黄色 E 淡黄色7 白色 F 亮白色格式：0x12高位代表背景色，低位代表字体颜色0x10 | 0x020x10代表背景色，0…
区块链技术到底有啥用？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 前言：关于区块链适合做什么和不适合做什么？一直都有争议。那么，通过什么方式来辨别呢？本文用详细的…