gzip格式分析与识别
“ 介绍gzip格式，识别gzip压缩的数据流量。”
在协议分析过程中，经常会发现gzip压缩的数据，例如在HTTP协议中，在HTTP头中会标示，内容编码为gzip、DEFLATE。
但是，还有很多情况，例如一些非HTTP协议，特别是私有协议中，数据同样采用gzip压缩，但是，流量中并未写明数据是gzip压缩格式，这就给分析带来了困难。
如何解决这个困难呢？只能从数据本身着手了，需要了解gzip压缩后数据的特征和标记，以确定哪些数据是gzip压缩。
gzip的基础是DEFLATE，它其实是多种压缩文件格式的简称。在RFC1952中对gzip格式进行了定义。
对gzip格式的数据，通常使用zlib库就可以解压缩。
gzip压缩格式的数据的识别，依靠的是gzip格式内的一些特征，gzip格式如下图：
具体如下：
10字节的头，包含幻数、版本号以及时间戳，对应ID1、ID2、CM、FLG、MTIME、XFL、OS；
可选的扩展头extra data ，如原文件名；
文件体compressed blocks，包括DEFLATE压缩的数据；
8字节的尾注，包括CRC-32校验和CRC32以及未压缩的原始数据长度ISIZE。
在文件头中，ID1和ID2分别为固定值0x1F，0x8B；而CM则定义了压缩使用的算法，目前仅一种，即DEFLATE压缩，对应值为0x08；FLG、MTIME、XFL、OS分别为标记、时间、可选扩展头标记、操作系统标记。
对gzip格式的识别，依靠的就是gzip的起始3字节，因为这三个字节目前是固定的，只有我们在数据流中，发现了1F 8B 08，则表示找到了gzip编码数据的起始了，继续分析就简单了。
如果想找个gzip的示例文件，那就到gzip官网去下载吧：
http://alpha.gnu.org/gnu/gzip/
目录下的压缩包都是gzip压缩格式。
根据各种类型的数据标记，来确定待分析的未知数据流中的数据格式，是一项很有用的技能，希望大家能多锻炼，多掌握，很多数据格式的标记，都可以在网络中找到，有人已经总结好了。
长按进行关注。
相关文章：
CSS 和 JS 动画哪个更快
基于Javascript的动画暗中同CSS过渡效果一样，甚至更加快，这怎么可能呢？而Adobe和Google持续发布的富媒体移动网站的性能可媲美本地应用，这又怎么可能呢？ 本文逐一遍览了基于Javascript的DOM动画库，如Veloci…
C语言之分支结构 if(一)
一 程序的三种基本结构 顺序结构：程序从上往下依次执行，这个叫顺序结构 分支结构：有选择的执行或者不执行某段代码 循环结构：重复的执行某段代码 二 分支结构之if 最简单的俩种用法 (tips: if语句后面的大括号可以省略：…
react-native安装Ant Design
1.集成Ant Design到项目 项目根目录中执行命令： npm install ant-design/react-native --save2.集成按需加载babel-plugin-import到项目 项目根目录中执行命令： npm install --save-dev babel-plugin-import3.创建.babelrc文件 根目录中创建新文件…
车联网APP，安全设施薄弱的山寨品
“ 目前的车联网APP，几乎没有安全性可言。”在网络上闲逛，一不小心，逛进了车联网的领地。物联网、车联网、IoT如火如荼，各个大佬、院士加持，看着相当的高大上。但是，在伟岸的外表下，到底真实的情…
CSS里总算是有了一种简单的垂直居中布局的方法了
<!DOCTYPE html> <html xmlns"http://www.w3.org/1999/xhtml"> <head><meta http-equiv"Content-Type" content"text/html; charsetutf-8"/><title>无标题文档</title><style type"text/css"&…
【星榜单】盘点那些坑爹的国产手机们
【星榜单】盘点那些坑爹的国产手机们 国产手机的那些坑爹事儿很多，中庸到基本大众脸的设计还算是有点良心的，那些奇葩的名字、所谓的高配低价低却又山寨级的做工、饥饿营销让你看得到买不到、伪小清新却又华而不实放眼过去的国产智能手机比比皆是&#x…
App Tracking Transparency被拒解决
App Tracking Transparency 如果使用了App Tracking Transparency，苹果要求在iOS 14.5及以上的版本中必须在弹框取得用户同意后，才可以跟踪用户。否则会被拒： 解决方案 参照官方文档说明（https://developer.apple.com/documen…
ProtoBuf格式详解
“介绍protobuf编码格式。”protobuf是一种数据交换格式，又称PB编码，由Google开源，类似于Json、XML，但其内部是纯二进制格式，比Json，XML等格式要更精炼，主要用于数据的序列化和反序列化…
Android studio 第二次作业
作业要求： 作一个显示框里面分成三行 一二行占这个框的1/2 第三行独占1/2 第三行里面分成两列第一列占25%，第二列占75%。 屏幕显示效果 实现步骤： <LinearLayout android:orientation"vertical"注意这里是横向布局 …
Cable master (POJ No.1064)
二分搜索思想：bool C(double x)可以得到长度为x的绳子//#define LOCAL #include<stdio.h> #include<math.h> int const MAX_N10005; int const MAX_M100; double const INF100000000; int N,K; double d[MAX_N],lb,ub; //判断是否满足条件 bool C(doubl…
iOS 11 导致tableview 刷新之后漂移问题
在10 系好好的，在11系统刷新只有就会多一个白块。查询才返现，添加一下代码 完美解决此bugself.mainTableView.estimatedRowHeight 0; self.mainTableView.estimatedSectionHeaderHeight 0; self.mainTableView.estimatedSectionFooterHeight 0;
HTTP协议解析之Cookie
“ Cookie与身份认证。”提到HTTP协议，不可避免地都会牵涉到Cookie，可以说，Cookie作为HTTP的重要组成部分，促进了HTTP协议的发展壮大。HTTP协议如果没有了Cookie，将会是一个无状态，无法便捷地进行用户识别的…
libevent源码深度剖析十一
libevent源码深度剖析十一 ——时间管理 张亮 为了支持定时器，Libevent必须和系统时间打交道，这一部分的内容也比较简单，主要涉及到时间的加减辅助函数、时间缓存、时间校正和定时器堆的时间值调整等。下面就结合源代码来分析一下。 1 初始化…
CentOS 安装Apache
# centOS 安装A M P 环境[参考简书作者,非常感谢！！！](https://www.jianshu.com/p/bc14ff0ab1c7) ## 一 Apache 环境安装 1 安装Apache > yum install httpd2 操作指令一览 > systemctl start httpd //启动apache > systemct…
使用admin lte 碰到访问Google字体的问题
下载了admin lte 的模板，运行的时候，发现很慢，看了一下console,发现adminlte.css里有import google的字体文件，众所周知的原因，无法访问，所以网页很慢，没办法，只能下载到本地了,cnbl…
如何突破DNS报文的512字节限制
“DNS协议大家都应该很熟悉，最近有同学问到如何获得UDP承载的超过512字节的DNS报文，借此机会，我们一起了解下DNS协议与报文长度有关的一些细节。”本文将讨论的是DNS协议在UDP承载时超过512字节的这一细节。在之前的文章里，对DNS协…
Fragment为什么须要无参构造方法
日前在项目代码里遇到偷懒使用重写Fragment带参构造方法来传参的做法，顿生好奇，继承android.support.v4.app.Fragment而又不写无参构造方法不是会出现lint错误编译不通过的咩？仔细追究，原来是这货被加了SuppressLint("ValidF…
CentOS 安装FTP
# 安装FTP * 1 安装命令> yum -y install vsftpd * 2 使用如下命令增加账户，其中 /var/www/html 是我们的 ftp 目录，ftpadmin 为 ftp 用户名。 > useradd -d /var/www/html -s /sbin/nologin ftpadmin * 3 给 ftpadmin 这个用户设置密码 > pa…
HTTP协议中的Range和Content-Range
“ 琢磨HTTP协议的每一个细节。”HTTP协议博大精深，每一个细节都应细细体会。否则，在协议还原的过程中，你会遇到各种问题。今天，本文中将对HTTP协议的Range和Content-Range进行分析。Range和Content-Range是 HTTP/1.1中新增的HTTP…
【HTML5游戏开发】简单的《找不同汉字版》，来考考你的眼力吧
一，准备工作 本次游戏开发需要用到lufylegend.js开源游戏引擎，版本我用的是1.5.2（现在最新的版本是1.6.0）。 引擎下载的位置：http://lufylegend.googlecode.com/files/lufylegend-1.5.2.rar 引擎API文档：ht…
FTP 命令的使用详解
# 使用Terminal 连接FTP ####Tips: 1 通过!进入本地主机的shell，然后通过exit退出本地主机进入远程服务器shell 2 要把文件下载到哪一个目录 就要先cd 到 哪个目录，再去进行ftp 连接，这样 执行 get 文件 自动下载到目录3 下载的文件的时候…
html 11 内联（行内）
行内元素 <span> 块级元素 <div> <p> <section> <header> <footer> 行内元素，这是高 margin-top margin-bottom 无意义 ，无效果，因为它仅仅在行内 ，它跳不出行，行多少它就多少。…
宅男抖音某猫协议分析及应用破解
“ 分析传说中的快x，顺便提供破VIP线路及去启动广告方法。”在当今这个由应用市场主导的网络上，流传着一批应用，它们低调又神秘，依赖口碑与独立网站在地下渠道传播，应用市场中从来都找不到它们的身影。这类应用&#x…
AdminLTE的使用
官方文档link1.AdminLTE的必要配置文件<!-- Tell the browser to be responsive to screen width --> <meta content"widthdevice-width, initial-scale1, maximum-scale1, user-scalableno" name"viewport"> <!-- Bootstrap 3.3.5 --> …
Linux sendmail发送邮件失败诊断案例(一)
在新服务器上测试sendmail发送邮件时，发现邮件发送不成功，检查日志文件发现如下错误（Notice：由于涉及公司服务器，邮箱等，故下面hostname、邮箱地址等信息使用xxx代替） tail -40 /var/log/maill…
CentOS 安装Python3
# 基于Linux的 Python3 环境的安装 最近买了一台centOS 阿里云轻量级服务器 自带Python2 准备安装Python3.6 版本的 ## Step * 1 查看当前版本python 的路径 使用以下命令,以便后面安装完毕 建立软链接 > which python 正常情况下会显示python 路径，例如…
某米浏览器黑名单文件破解
“粗粮系统自带浏览器的网址黑名单提取。”某米手机作为高性价比的代表，比起菊厂及OV厂妹风手机，向来被我高看一眼，毕竟雷布斯也是我等码农的典范，以至于我都买过好几件粗粮的产品。虽然它的各个应用，包括系统…
函数的四种调用模式.上下文调用.call.apply
闭包:函数就是一个闭包,一个封闭的作用域; 返回函数,要返回多个函数就用一个对象封装一下,立即执行函数return回调函数JS动态创建的DOM,不会被搜索引擎抓取,对SEO不友好./*window的name属性*/function fn(){ console.log(this.name);} fn.call({name:"zhangsan"});//…
IOC和DI(转)
1、IoC(Inversion of Control)控制反转和 DI(Dependency Injection)依赖注入 首先想说说IoC（Inversion of Control，控制倒转）。这是spring的核心，贯穿始终。所谓IoC，对于spring框架来说，就是由spring来负责…
生成公钥链接github
# 生成公钥 连接Git### 1 检查本机是否有公钥 > cd ~/.ssh### 2 如果有的话 直接使用 不要随便删除电脑公钥 没有的话进行生成 生成如下 id_rsa 是 私钥 id_rsa.pub 是公钥 ### 3 生成公钥命令如下 邮箱是你的邮箱地址 终端会提示输入密码 可以以回车带过 如果设置密码…