当前位置：首页 > 编程日记 > 正文

github里的默认域_GitMAD 一款扫描Github上的敏感信息和数据泄漏工具

编程日记 2024-02-10 02:00:00

GitMAD是一个用于发现Github上的敏感信息和数据泄漏的工具。通过给定关键字或域，GitMAD便会搜索Github上托管的代码，以查找是否存在匹配项。一旦找到了匹配项，GitMAD将克隆存储库并在文件中搜索一系列可配置的正则表达式。然后，GitMAD会获取这些结果，并将它们插入到数据库中供后续的查看使用。这些结果也可作为邮件警报发送。另外，GitMAD将持续运行以发现与输入关键字匹配的新存储库。输入除此之外，用户还可以配置每次搜索的最大结果量，搜索间隔时间以及要克隆的存储库的大小范围。有两种模式，Monitor和Discovery。Discovery模式将在每次运行时提取并搜索新结果。Monitor模式则会首先下载给定关键字/域的所有匹配项搜索它们，然后继续搜索新结果。处理GitMAD从上面获取结果并搜索存储库的Git历史记录。搜索历史记录以查找一组可配置的正则表达式。GitMAD还可以对历史文件的每一行进行分解，并在信息熵(Shannon entropy)中搜索匹配项。配置文件regex_matches.py这是将关键字和正则表达式放在存储库内容中进行搜索的位置，只需在下面的列表中添加字典即可：to_match = [ {'match_regex': r'password', 'match_type': 'Password Match'}, {'match_regex': r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}', 'match_type': 'IP Match'}, {'match_regex': r'username', 'match_type': 'Username Match'}, {'match_regex': r'\b[\w.]*@[\w]*\.[\w.]*\b', 'match_type': 'Email Match'} ]entropy_whitelist.py这是移除Entropy功能匹配你不想要的项目位置。只需在下面的列表中添加字典即可：r_whitelist = [{'regex':r'\b[A-Za-z][a-z] ([A-Z][a-z]*) \b'}] # Camel Case输出GitMAD获取上面的结果，并将它们插入到一个数据库中，该数据库包含有关找到匹配项的文件以及存储库的信息。它还插入了匹配的字符串和匹配的行。这些结果可通过邮件警报，数据库和Web应用获得。当前状态该项目正在积极开发中。安装GitMAD最初是在Windows上用Python3.6编写的。它也在Ubuntu 18.04上进行了测试。环境要求Python 3.6 Pip for Python3GitMySQL 8.0如果是Windows系统你可以直接从Oracle网站下载MySQL8.0。如果是Ubuntu 18.04，其默认版本仍为5.7，因此你必须升级你的当前版本：wget -c https://dev.mysql.com/get/mysql-apt-config_0.8.12-1_all.deb sudo dpkg -i mysql-apt-config_0.8.12-1_all.deb#select version 8.0sudo apt update sudo apt install mysql-serversudo mysql_secure_installationUbuntu 18.04 安装步骤1)克隆存储库并进入到目录：git clone https://github.com/deepdivesec/GitMAD.gitcd GitMAD2)安装依赖项：pip3 install -r requirements.txt3)向MySQL添加脚本：$sudo mysql -u username -pmysql> source //GitMAD/github_search_db.sql4)运行main.py并在首次运行时输入配置信息：python3 //GitMAD/main.py -q [see other options below]gitmad-help.png5)运行Web应用：python3 //GitMAD/web_home.py6)(可选)下载并安装MySQL Workbench与结果直接进行交互。https://dev.mysql.com/downloads/workbench/已知问题有时，无论存储库的大小如何，GitHub API都会返回0。该问题尚未处理，而被克隆的存储库大于-mx/–max的大小这个问题，正在处理中。文章来与及出处：

https://github.com/deepdivesec/gitmad

github里的默认域_GitMAD 一款扫描Github上的敏感信息和数据泄漏工具

相关文章：

【Docker】Docker的三大核心组件

很高兴开始博客之旅

Android Studio Day02-2

网络增强现实开发简介 Introduction to Web AR development

umi脚手架搭建的项目_15天零成本搭建静态博客，托管于Github Page

[maven] 使用问题及思考汇总

VS调试时提示此项目已经过期

(DBA之路【五】)关于锁的故事

Android Studio Day03-1(Android studio 系统界面简介)

全流程游戏模型制作学习教程

requirednew基于xml配置日志不回滚_Elasticsearch配置IK分词器的远程词库

PS切图篇（一）---界面设置

简单解决用VS编写hello world时命令行一闪而过

粒子群算法(1)----粒子群简要

Android Studio Day03-2（常用操作）

Blender数字雕刻终极指南学习教程

生产指挥调度系统_市安全生产应急救援指挥中心将大型装载机械设备储备信息纳入应急指挥调度系统...

java.sql.Exception:setString 只能处理少于 32766 个字符的字符串

无需自己输入include这些的方法

第二次团队冲刺2

Android StudioDay03-3（键盘导航）

虚幻中的风格化环境制作学习教程

【转】oracle PLSQL基础学习

python如何创建不同元素的矩阵_python – 如何在数据帧中创建矩阵元素的数...

wps多窗口打开

RHEL7.0系列修改字符终端分辨率

Java Day01-1

Autocad 3D 完全学习教程

[转]JAVA中Action层, Service层，modle层和 Dao层的功能区分

springmvc工作流程简单易懂_三极管的结构和工作特性，简单易懂