apache日志分析简介
一.日志分析
如果apache的安装时采用默认的配置,那么在/logs目录下就会生成两个文件,分别是access_log和error_log
1.access_log
access_log为访问日志,记录所有对apache服务器进行请求的访问,它的位置和内容由CustomLog指令控制,LogFormat指令可以用来简化该日志的内容和格式
例如,我的其中一台服务器配置如下
CustomLog "| /usr/sbin/rotatelogs /var/log/apache2/%Y_%m_%d_other_vhosts_access.log 86400 480" vhost_combined
-rw-r--r-- 1 root root 26873180 12-06 23:59 2010_12_06_other_vhosts_access.log
-rw-r--r-- 1 root root 26810003 12-07 23:59 2010_12_07_other_vhosts_access.log
-rw-r--r-- 1 root root 24530219 12-08 23:59 2010_12_08_other_vhosts_access.log
-rw-r--r-- 1 root root 24536681 12-09 23:59 2010_12_09_other_vhosts_access.log
-rw-r--r-- 1 root root 14003409 12-10 14:57 2010_12_10_other_vhosts_access.log
通过CustomLog指令,每天一天生成一个独立的日志文件,同时也写了定时器将一周前的日志文件全部清除,这样可以显得更清晰,既可以分离每一天的日志又可以清除一定时间以前的日志通过制,LogFormat定义日志的记录格式
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combinedproxy
LogFormat "%h %l %u %t \"%r\" %>s %b" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
随意的tail一个access_log文件,下面是一条经典的访问记录
218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] "GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1" 200 1933 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)"
一共是有9项,将他们一一拆开
-
-
[10/Dec/2010:09:31:17 +0800]
"GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1"
200
1933
"-"
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)"
1) 218.19.140.242 这是一个请求到apache服务器的客户端ip,默认的情况下,第一项信息只是远程主机的ip地址,但我们如果需要apache查出主机的名字,可以将 HostnameLookups设置为on,但这种做法是不推荐使用,因为它大大的减缓了服务器.另外这里的ip地址不一定就是客户主机的ip地址,如果客户端使用了代理服务器,那么这里的ip就是代理服务器的地址,而不是原机.
2) - 这一项是空白,使用"-"来代替,这个位置是用于标注访问者的标示,这个信息是由identd的客户端存在,除非IdentityCheck为on,非则apache是不会去获取该部分的信息(ps:不太理解,基本上这一项都是为空,奉上原文)
The "hyphen" in the output indicates that the requested piece of information is not available. In this case, the information that is not available is the RFC 1413 identity of the client determined by identd on the clients machine. This information is highly unreliable and should almost never be used except on tightly controlled internal networks. Apache httpd will not even attempt to determine this information unless IdentityCheck is set to On.
3) - 这一项又是为空白,不过这项是用户记录用户HTTP的身份验证,如果某些网站要求用户进行身份雁阵,那么这一项就是记录用户的身份信息
4) [10/Dec/2010:09:31:17 +0800] 第四项是记录请求的时间,格式为[day/month/year:hour:minute:second zone],最后的+0800表示服务器所处的时区为东八区
5) "GET /..haizhu_tianhe.xml HTTP/1.1" 这一项整个记录中最有用的信息,首先,它告诉我们的服务器收到的是一个GET请求,其次,是客户端请求的资源路径,第三,客户端使用的协议时HTTP/1.1,整个格式为"%m %U%q %H",即"请求方法/访问路径/协议"
6) 200 这是一个状态码,由服务器端发送回客户端,它告诉我们客户端的请求是否成功,或者是重定向,或者是碰到了什么样的错误,这项值为200，表示服务器已经成功的响应了客户端的请求,一般来说,这项值以2开头的表示请求成功,以3开头的表示重定向,以4开头的标示客户端存在某些的错误,以5开头的标示服务器端存在某些错误,详细的可以参见 HTTP specification (RFC2616 section 10).[http://www.w3.org/Protocols/rfc2616/rfc2616.txt]
7) 1933 这项表示服务器向客户端发送了多少的字节,在日志分析统计的时侯,把这些字节加起来就可以得知服务器在某点时间内总的发送数据量是多少
8) - 暂不知
9) "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)" 这项主要记录客户端的浏览器信息
2.error_log
error_log为错误日志,记录下任何错误的处理请求,它的位置和内容由ErrorLog指令控制,通常服务器出现什么错误,首先对它进行查阅,是一个最重要的日志文件
tail error_log,随意摘取一个记录
[Fri Dec 10 15:03:59 2010] [error] [client 218.19.140.242] File does not exist: /home/htmlfile/tradedata/favicon.ico
同样也是分为几个项
[error]
[client 218.19.140.242]
File does not exist: /home/htmlfile/tradedata/favicon.ico
1) [Fri Dec 10 15:03:59 2010] 记录错误发生的时间,注意,它跟我们上面access_log记录的时间格式是不同的
2) [error] 这一项为错误的级别,根据LogLevel指令来控制错误的类别,上面的404是属于error级别
3) [client 218.19.140.242] 记录客户端的ip地址
4) File does not exist: /home/htmlfile/tradedata/favicon.ico 这一项首先对错误进行了描述,例如客户端访问一个不存在或路径错误的文件,就会给出404的提示错误
二.实用的日志分析脚本
了解日志的各种定义后,这里分享一下从网上淘来的一些对日志分析的脚本
1.查看apache的进程数
ps -aux | grep httpd | wc -l
2.分析日志查看当天的ip连接数
cat default-access_log | grep "10/Dec/2010" | awk '{print $2}' | sort | uniq -c | sort -nr
3.查看指定的ip在当天究竟访问了什么url
cat default-access_log | grep "10/Dec/2010" | grep "218.19.140.242" | awk '{print $7}' | sort | uniq -c | sort -nr
4.查看当天访问排行前10的url
cat default-access_log | grep "10/Dec/2010" | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 10
5.看到指定的ip究竟干了什么
cat default-access_log | grep 218.19.140.242 | awk '{print $1"\t"$8}' | sort | uniq -c | sort -nr | less
6.查看访问次数最多的几个分钟(找到热点)
awk '{print $4}' default-access_log |cut -c 14-18|sort|uniq -c|sort -nr|head
三.使用awstats自动分析日志
当然啦,如果想最简单和最直观的分析日志还是用工具,现在网上较流行的工具是awstats,一个基于perl的web日志分析工具,功能很强大也支持IIS等服务器
下载地址 http://awstats.sourceforge.net
安装配置见 http://blog.s135.com/post/199/
简单的界面
相关文章：
Kotlin语法（基础）
一、基础语法： 1. 定义包名： 包名应该在源文件的最开头，包名不必和文件夹路径一致：源文件可以放在任意位置。 package my.demo 2. 定义函数： fun sum(a: Int , b: Int) : Int{return a b } 表达式函数体自动推断型的返…
未来十年，人机交互将是重要的发展
编译 | 禾木木出品 | AI科技大本营（ID:rgznai100）机器人市场包括广泛且不断扩大的产品范围。经过多年的合作，可以预测机器人技术和机器人行业的未来发展。根据需求，专业服务应用将占据主要市场份额。客户行为的变化已成为行业发展…
20170507Linux七周二次课 io监控free ps 网络状态 抓包
七周二次课（5月7日）10.6 监控io性能10.7 free命令10.8 ps命令10.9 查看网络状态10.10 linux下抓包扩展tcp三次握手四次挥手 http://www.doc88.com/p-9913773324388.htmltshark几个用法：http://www.aminglinux.com/bbs/thread-995-1-1.html监控…
navicat for mysql导出表结构
show create table cm_events;
《新程序员003》正式上市！华为、阿里等 30+ 公司的云原生及数字化实战经验...
作者 | 唐小引出品 | 《新程序员》编辑部《新程序员 003：云原生和全面数字化实践》图书今日正式上市，纸书和电子书同步上架 CSDN 商城、New 程序员小程序、京东、当当等平台。这是由 50 余位技术专家共同创作，写给所有关注云原生和数字化的开…
sed及awk显示指定行内容
文件内容为[roottest1 test]# cat file.test 1 2 3 4 5 6 7 8 9 101. 显示第二行内容(指定行)1）sed[roottest1 test]# sed -n 2p file.test 22）awk[roottest1 test]# awk NR2 {print $0} file.test 2 [roottest1 test]# awk {if(NR2)print $0} file.t…
win10 spark+scala+eclipse+sbt 安装配置
转载请务必注明原创地址为：http://dongkelun.com/2018/03/... 1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格 2、安装spark 2.1 下载 下载地址：http://spark.apache.org/downloads.html，我下载的是 spark-2.2.1-bin-hadoop2.7.tgz…
jquery的live方法
live(type, [data], fn)手册API的介绍 jQuery 给所有匹配的元素附加一个事件处理函数，即使这个元素是以后再添加进来的也有效。 如下用 live给classclickme的元素绑定一个click事件： $(.clickme).live(click, function() { alert("Live handler ca…
碱基序列的儿子最长上涨
Font Size:Aa Aa AaDescription 给出一个由n个数组成的序列x[1..n]，找出它的最长单调上升子序列的长度。即找出最大的长度m和a1, a2……,am，使得 a1 < a2 < … … < am 且 x[a1] < x[a2] < … … < x[am]。Input 先输入一个整数t&…
用 Python 写 3D 游戏，太赞了
作者 | 可可卷CSDN博客 | 可可卷vizard介绍Vizard是一款虚拟现实开发平台软件，从开发至今已走过十个年头。它基于C/C，运用新近OpenGL拓展模块开发出的高性能图形引擎。当运用Python语言执行开发时，Vizard同时自动将编写的程式转换为字节码抽象…
人人都能学会的python编程教程3：字符串和编码
字符串 在python3中已经全面支持中文。 由于Python源代码也是一个文本文件，所以，当你的源代码中包含中文的时候，在保存源代码时，就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时，为了让它按UTF-8编码读取&…
基本MVC原理
参考《Pro PHP》 简单实现了一个mvc框架。 地址http://code.google.com/p/smallframework/自动加载的问题<?php function __autoload($class) { if(file_exists($class.".php")) { require_once($class.".php"); } } class autoload{ public static fu…
31个好用的 Python 字符串方法，建议收藏！
作者 | 小F来源 | 法纳斯特字符串是Python中基本的数据类型，几乎在每个Python程序中都会使用到它。今天，就带大家学习一下31个最重要的内置字符串方法。希望大家能从中找到对自己有帮助的技巧。▍1、Slicingslicing切片，按照一定条件从列表或…
《深入理解计算机系统》读书随笔-位操作
最近开始读《深入理解计算机系统》这本书。对于书中提到的从程序员的角度解读计算机系统这一说法非常感兴趣，所以决定好好读一读。从开始接触计算机编程就是站在一个高级语言的层次，虽然对编译原理，操作系统，汇编语言和计算机组成…
专访小邪：从十年技术之路看阿里技术体系的变革
2019独角兽企业重金招聘Python工程师标准>>> 摘要： 从2008年到2018年，从阿里巴巴中间件团队到飞天八部——小邪与阿里的十年。 编者按：从2008年到2018年，从阿里巴巴中间件团队到飞天八部——小邪与阿里的十年。 2008年…
PHP SPL笔记
PHP SPL笔记作者： 阮一峰日期： 2008年7月 8日这几天，我在学习PHP语言中的SPL。这个东西应该属于PHP中的高级内容，看上去很复杂，但是非常有用，所以我做了长篇笔记。不然记不住，以后要用的时候&am…
算力超越 iPhone，芯片堪比Mac，网友：“买来能干啥？”
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）自去年“元宇宙”概念突然爆火，作为其“入门钥匙”的 AR/VR 设备也顺势成为了话题焦点，尤其在多家外媒爆料苹果也在为此发力、甚至从 Meta 挖人以争取在 2022 年正式推出时&…
ios开发日记- 5 屏幕截图
-(void)fullScreenshots{UIWindow *screenWindow [[UIApplication sharedApplication] keyWindow]; UIGraphicsBeginImageContext(screenWindow.frame.size);//全屏截图，包括window [screenWindow.layer renderInContext:UIGraphicsGetCurrentContext()]; UIImage …
MaxCompute助力OSS支持EB级计算力
一、 MaxCompute是什么？ 你的OSS数据是否作堆积在一旁沉睡已久，存储成本变为企业负担？你是否想唤醒沉睡的数据，驱动你的业务前行？MaxCompute可以帮助你高效且低成本的解决这些问题，通过对海量数据进行分析和…
php自动加载
很多开发者写面向对象的应用程序时对每个类的定义建立一个 PHP 源文件。一个很大的烦恼是不得不在每个脚本（每个类一个文件）开头写一个长长的包含文件列表。 在 PHP 5 中，不再需要这样了。可以定义一个 __autoload 函数，它会在试…
22个案例详解 Pandas 数据分析/预处理时的实用技巧，超简单
作者 | 俊欣来源 | 关于数据分析与可视化今天小编打算来讲一讲数据分析方面的内容，整理和总结一下Pandas在数据预处理和数据分析方面的硬核干货，我们大致会说Pandas计算交叉列表Pandas将字符串与数值转化成时间类型Pandas将字符串转化成数值类型Pandas当…
《mysql性能调优与架构设计》笔记： 一mysql 架构组成
2019独角兽企业重金招聘Python工程师标准>>> 2.1mysql物理文件组成 2.1.1日志文件： 1，查看mysql配置文件：mysql --verbose --help | grep -A 1 Default options; 1，错误日志：--log-error[file_name] 指定错…
发现一个可以搜索常用rpm包的地址（http://www.rpmfind.net/）
http://www.rpmfind.net/ 虽然资源不多，但也够用。 >如有问题，请联系我：easonjim#163.com，或者下方发表评论。<
PHP版UTF-8文件BOM自动检测移除程序
BOM信息是文件开头的一串隐藏的字符，用于让某些编辑器识别这是个UTF-8编码的文件。但PHP在读取文件时会把这些字符读出，从而形成了文件 开头含有一些无法识别的字符的问题。比如用UTF-8格式保存的生成图片的PHP文件，因为文件头隐藏的BOM信息也…
java: web应用中不经意的内存泄露
前面有一篇讲解如何在spring mvc web应用中一启动就执行某些逻辑，今天无意发现如果使用不当，很容易引起内存泄露，测试代码如下： 1、定义一个类App package com.cnblogs.yjmyzz.web.controller;import java.util.Date;public class…
「游戏圈地震级消息」687亿美元，微软收购游戏巨头动视暴雪
整理 | 苏宓、禾木木 出品 | CSDN 2022年1月18日晚，一条热搜刷爆了朋友圈： 继 2018 年，微软以 75 亿美元收购全球知名的代码托管平台 GitHub 后，2022 年 1 月 18 日，微软将以 687 亿美元的价格收购著名游戏制作和发行公…
java实现用户登录注册功能(用集合框架来实现)
需求：实现用户登录注册功能(用集合框架来实现) 分析： A:需求的类和接口 1.用户类 UserBean 2.用户操作方法接口和实现类 UserDao UserDaoImpl 3.测试类 UserTest B:各个类中的东西 1.用户类UserBean: …
第3次翻译了 Pandas 官方文档，叒写了这一份R万字肝货操作！
作者 | 黄伟呢来源 | 数据分析与统计学之美今天，我继续为大家讲述Pandas如何实现R语言的相关操作。由于 Pandas 旨在提供人们使用 R 进行的大量数据操作和分析功能，因此本页开始提供更详细的 R 语言及其与 Pandas 相关的许多第三方库的介绍。与 R 和 CRA…
PHP autoload机制详解
PHP autoload机制详解 转载自 jeakcccPHP autoload机制详解(1) autoload机制概述在使用PHP的OO模式开发系统时，通常大家习惯上将每个类的实现都存放在一个单独的文件里，这样会很容易实现对类进行复用，同时将来维护时也很便利。这 也是OO设计…
有关博客的一些断想
作者：朱金灿来源：http://blog.csdn.net/clever101随着微博、微信等短平快社交媒体的兴起，文字相对严肃的博客毫无疑问受到很大的冲击。我在想博客会不会因此而消亡呢。我相信不会，因为喜欢轻快的文字固然是人类的天性，…