Nginx按指定格式记录访问日志
今天突然想起来一个日志的一个东西,因为拉项目无意中看到了日志文件的一些东西,现在不经常做后端了,加上其他的一些原因吧.有时候有些问题也没想太多,马马虎虎就过了,后来想想还是要记录一下这方面的处理过程吧:
一般我们作为开发人员关注的日志只是在应用程序层面的,我们称它为应用程序日志,访问日志和错误日志可以被认为是应用程序日志的一部分，因为它们都与应用程序的运行状态和用户访问行为有关。
访问日志:
其实我们在用常用的web服务器上都有这项功能,我们这里用Nginx举例,我们的访问日志一般正常都是什么设备在什么地址访问了我们的什么资源,后端服务器的响应时间是多少,客户端请求处理的总时间是多少;请求使用的 HTTP 方法等等,常见的基本上就上面的这些了,那我们就可以在Nginx的HTTP块里面设置日志记录参数就行了,比如下面的配置:
http {
##
# Basic Settings
##
sendfile on;
tcp_nopush on;
types_hash_max_size 2048;
# server_tokens off;
# server_names_hash_bucket_size 64;
# server_name_in_redirect off;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# SSL Settings
##
ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3; # Dropping SSLv3, ref: POODLE
ssl_prefer_server_ciphers on;
##
# Logging Settings
##
log_format main '$remote_addr | $remote_user | [$time_local] | "$request" '
' | $status $body_bytes_sent | "$http_referer" '
'| "$http_user_agent" | "$http_x_forwarded_for" | "$request_method" | request_total_time:"$request_time" | "$upstream_response_time"';
access_log /var/log/nginx/access.log main;
error_log /var/log/nginx/error.log;
##
# Gzip Settings
##
gzip on;
# gzip_vary on;
# gzip_proxied any;
# gzip_comp_level 6;
# gzip_buffers 16 8k;
# gzip_http_version 1.1;
# gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
##
# Virtual Host Configs
##
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}
首先我们肯定先把访问日志打开(access_log),然后阐述一下上面的参数:
$remote_addr：代表发起请求的客户端的IP地址。$remote_user：代表经过身份验证的用户的用户名，如果没有身份验证则为连字符（-）。[$time_local]：代表服务器处理请求时的本地时间，用方括号括起来。"$request"：代表请求的第一行，包括HTTP方法、请求的URL和HTTP协议。|：是一个分隔符（管道符号），用于在日志条目中分隔不同的字段。$status：代表返回给客户端的状态码（例如，成功请求的状态码为200）。$body_bytes_sent：代表发送给客户端的响应的大小，以字节为单位。"$http_referer"：代表Referer HTTP头部，指示引导客户端访问当前页面的页面的URL。"$http_user_agent"：代表User-Agent HTTP头部，指示发起请求的客户端的用户代理（例如，浏览器）。"$http_x_forwarded_for"：代表X-Forwarded-For HTTP头部，如果请求经过代理服务器或负载均衡器，则可能包含一个逗号分隔的客户端IP地址列表。"$request_method"：代表请求中使用的HTTP方法（例如，GET、POST）。request_total_time:"$request_time"：代表处理请求所花费的总时间，包括上游处理时间。数值被双引号括起来。
然后我们重启一下Nginx 服务器,再去请求就可以看到日志 文件已经陆续写入了:看一下效果
你会看到access.log已经开始记录了,那如果我们每每天都会有大量的记录放在同一个文件会不会时间就了会很臃肿这个文件,至于这个问题你可以用 logrotate 日志轮转操作去解决, 这边我用了小时级别的划分,每隔一个小时都会轮转一下;
/var/log/nginx/*.log {
hourly
missingok
rotate 14
compress
delaycompress
notifempty
create 0640 www-data adm
sharedscripts
prerotate
if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
run-parts /etc/logrotate.d/httpd-prerotate; \
fi \
endscript
postrotate
invoke-rc.d nginx rotate >/dev/null 2>&1
endscript
}
~ 所以你会看到很多access.log文件,
关于logrotate后面会更新 ,学过linux的应该都知道这个玩意,很方便的程序,基本也是Linux的预装程序,时间有点夜深了,先写到这里
相关文章：
【Linux之升华篇】Linux内核锁、用户模式与内核模式、用户进程通讯方式
alloc_pages(gfp_mask, order),_ _get_free_pages(gfp_mask, order)等。字符设备描述符 struct cdev,cdev_alloc()用于动态的分配 cdev 描述符,cdev_add()用于注。外,还支持语义符合 Posix.1 标准的信号函数 sigaction(实际上,该函数是基于 BSD 的,BSD。从最初的原子操作,到后来的信号量,从。(2)命名管道(named pipe):命名管道克服了管道没有名字的限制,因此,除具有管道所具有的。
shell编程
简单来说“Shell 编程就是对一堆 Linux 命令的逻辑化处理”。
Ubuntu下安装和配置Redis
找到 /ect/redis/redis.conf 文件修改如下：注释掉 127.0.0.1 ，如果不需要远程连接redis则不需要这个操作。使用客户端向 Redis 服务器发送一个 PING ，如果服务器运作正常的话，会返回一个 PONG。默认情况下，Redis服务器不允许远程访问，只允许本机访问，所以我们需要设置打开远程访问的功能。执行sudo apt-get install redis-server 安装命令。查看 redis 是否启动，重新打开一个窗口。停止/启动/重启redis。
Linux下netstat命令详解&&netstat -anp | grep 讲解
Netstat是控制台命令,是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。Netstat用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。
Linux命令——根据端口号查进程
查出的数据第二列（16615）是elasticsearch的进程号。通常我们会根据端口号查进程号，或者通过进程号查端口号。linux环境下，我们常常会查询进程号pid。最常用ps -ef |grep xx。根据端口port查进程。根据端口port查进程。根据进程pid查端口。根据进程pid查端口。
第三方消息推送回调Java app消息推送第三方选择
由于最先集成的是极光，因此根据官方给的推送设备区分方式中，选择了使用标签tag来进行区分管理方式，其接口提供了设置和清理标签， 每次设置会覆盖上次的结果，当然这个需要和极光后台进行交互，是异步返回的。5、由于其接口没有使用免费和付费区分，对于接口的访问没有限制，从使用的情况来看，经常会出现不准的情况，并且设置标签的效果其实是添加，导致业务需要改变标签时，需要先清除在设置，然而接口又经常出问题，导致这部分也是一塌糊涂了；如果想使用不受免费版本限制特性的推送服务，可以联系平台提供的商务对接，购买付费版本。
Linux搜索文件&搜索文件名&替换文件内容
locate是Linux系统提供的一种快速检索全局文件的系统命令，它并不是真的去检索所以系统目录，而是检索一个数据库文件locatedb（Ubuntu系置/var/cache/locate/locatedb），该数据库文件包含了系统所有文件的路径索引信息，所以查找速度很快。time结尾的选项，其单位为天，min结尾的选项其单位为分钟，这些选项的值都为一个正负整数， 如+7,表示，7天以前被访问过的文件，-7表示7天以内被访问过的文件，7表示恰好7天前被访问的文件。：快速返回某个指定命令的位置信息。
Docker exec命令详细使用指南
Docker exec命令是Docker提供的一个强大工具，用于在正在运行的容器中执行命令。本文将详细介绍Docker exec命令的用法和示例，帮助大家更好地理解和使用这个命令。Docker是一种流行的容器化平台，允许我们在容器中运行应用程序。有时候，在容器内执行命令可以帮助我们调试、排查问题或进行其他操作。这就是Docker exec命令发挥作用的时候。本文详细介绍了Docker exec命令的用法和示例。
10个常用python自动化脚本
大家好，Python凭借其简单和通用性，能够为解决每天重复同样的工作提供最佳方案。本文将探索10个Python脚本，这些脚本可以帮助自动化完成任务，提高工作效率。无论是开发者、数据分析师还是仅仅想简化工作流程的普通用户，这些脚本都能提供帮助。
配置nginx+keepalived高可用代理数据库ip端口
需求：配置nginx+keepalived高可用反向代理数据库ip端口（数据库服务器无法增加新SCAN IP或者需要隐藏数据库IP的情况下适用）本机ip为：192.168.20.10和192.168.20.11。2.任意节点关机或重启系统，浮动ip也会自动漂移到另外节点。1.任意节点停nginx：浮动ip会自动漂移到另外节点。安装依赖包和nginx和keepalived。浮动IP为：192.168.20.20。配置keepalived.conf。两台centos7.9。
给服务器开通telnet的流程
但一些特殊场景下，比如要升级ssh，ssh不能用时，需要使用telnet，用过要关闭此服务。需要首先安装，如果telnet-server服务在xinetd之前安装了，要先删除telnet-server，再安装xinetd。安装顺序：xinetd--》telnet--》telnet-server。安装顺序：xinetd--》telnet--》telnet-server。2、卸载rpm包（如果已经安装了，又不清楚顺序，可以都卸载后统一安装）注意：telnet-server服务启动依赖xinetd服务，
如何在Nginx中配置防盗链？
防盗链是一种防止网站资源被非法下载的技术。当用户尝试直接访问一个受保护的资源时，服务器会返回一个403 Forbidden错误，提示用户该资源受到保护，不能直接访问。这样可以避免用户通过搜索引擎或其他方式获取到未经授权的资源。通过以上步骤，我们可以在Linux系统中的Nginx Web服务器中使用Shell脚本实现防盗链的配置。这种方法可以有效地保护网站资源不被非法下载，提高用户体验，同时防止恶意攻击。在实际项目中，我们可以根据实际需求灵活配置受保护资源的URL和处理方式。
使用DockerFile构建镜像与镜像上传
首先Dockerfile 是一个文本格式的配置文件， 用户可以使用 Dockerfile 来快速创建自定义的镜像。
轻松管理Linux磁盘空间命令：df
通过使用--output选项，可以自定义df命令的输出格式，选择显示的列以及它们的顺序。这对于筛选特定信息以便进一步处理非常有用。本文我们介绍了Linux系统上的df命令，包括基本用法、进阶用法、实际案例和场景应用，以及一些实用技巧和注意事项。df命令是系统管理中的一个重要工具，能够帮助用户有效管理磁盘空间，预防和解决潜在问题。在实际使用中，请根据具体情况选择合适的df命令选项和参数，并结合其他命令，以获取更全面的系统信息。
使用docker部署RStudio容器并结合内网穿透实现公网访问
RStudio Server 使你能够在 Linux 服务器上运行你所熟悉和喜爱的 RStudio IDE，并通过 Web 浏览器进行访问，从而将 RStudio IDE 的强大功能和工作效率带到基于服务器的集中式环境中。下面介绍在Linux docker中安装RStudio Server并结合cpolar内网穿透工具,实现远程访问,docker方式安装可以避免很多问题,一键安装,如设备没有安装docker,需提前安装docker。
Docker网络配置&网络模式
网络相关概念，子网掩码、网关、规则的介绍及网络模式bridge、host详解，Dockers自定义网络配置
Linux grep命令教程：强大的文本搜索工具(附案例详解和注意事项)
grep(Global Regular Expression Print)命令用来在文件中查找包含或者不包含某个字符串的行，它是强大的文本搜索工具，并可以使用正则表达式进行搜索。当你需要在文件或者多个文件中搜寻特定信息时，grep就显得无比重要啦。
保持Python程序在Linux上持续运行的几种方法
主要是用来定时执行任务的，但你也可以利用它来监控你的Python脚本是否正在运行，并在需要时重新启动它。是一个非常实用的命令，它可以让你的Python脚本在你退出shell后继续运行。总结起来，根据你的具体需求和环境，你可以选择以上任何一种方法来保持Python程序在Linux上的持续运行。使用这些工具，你可以随时断开SSH连接，而不用担心脚本会停止运行。通过这种方式，你可以安全地关闭终端，而脚本会继续在后台执行。这样，你的Python脚本就会作为系统服务运行，并且会在系统启动时自动启动。
linux环境中一次启动多个jar包，并且设置脚本开机自启
我们在通过jar启动项目时，有时候会比较多，启动会比较麻烦，需要编写shell脚本启动，将启动脚本存放在需要启动的jar包路径下。（文档存放在 /home/process_parent ）PORTS 端口号，多个用空格隔开MODULES 模块，多个用空格隔开MODULE_NAMES 模块名称，多个用空格隔开。
开发版ubuntu系统上如何进行开机自启（四种方法一览）
如果省略该字段，则 systemd 将默认将当前服务的启动顺序设置为与其他服务无关，即在启动过程中没有任何依赖性关系，服务的启动顺序由系统自行决定。【ExecStart】 关键字段，服务启动命令，指定服务启动时需要执行的命令或脚本【WantedBy】用于指定服务的自动启动级别，在 Linux 系统中，多用户模式是指允许多个用户同时登录并使用系统资源的模式，与之相对的是单用户模式，只有一个用户可以登录并使用系统资源。保存文件的方法根据所使用的编辑器而有所不同，通常是按下特定的键组合，然后选择保存并退出。
你了解计算机网络的发展历史吗？
计算机网络是指将一群具有独立功能的计算机通过被互联起来的，在通信软件的支持下，实现的系统。计算机网络是计算机技术与通信技术紧密结合的产物，两者的迅速发展渗透形成了计算机网络技术。简而言之呢，计算机网络就是实现两台计算机相互沟通的介质。
Docker的介绍及安装&基本操作命令
在讲到Docker之前，我们先了解虚拟机与容器之间的区别VM(VMware)在宿主机器、宿主机器操作系统的基础上创建虚拟层、虚拟化的操作系统、虚拟化的仓库，然后再安装应用；容器，在宿主机器、宿主机器操作系统上创建Docker引擎，在引擎的基础上再安装应用。特性容器虚拟机启动秒级分钟级硬盘使用一般为MB一般为GB性能接近原生弱于系统支持量单机支持上千个容器一般几十个。
Linux安装MongoDB教程
将解压后的 mongodb-linux-x86_64-rhel70-4.2.23 中的所有文件全部移动到 /usr/local/mongodb 中 :注意/*是所有子文件。也可以不用设置环境变量进行启动，但是不设置环境变量启动的话要每次启动写很多启动参数，比较麻烦，所以做好配置环境变量。在 mongodb 下创建 data 和 logs 目录，以及日志文件mongodb.log。在 /usr/local 目录中创建 mongodb 文件夹。启动 MongoDB（-conf 使用配置文件方式启动）
Linux之后台执行命令：nohup和&的使用
如果不将 nohup 命令的输出重定向，输出将附加到当前目录的 nohup.out 文件中。command>out.file是将command的输出重定向到out.file文件，即输出内容不打印到屏幕上，而是输出到out.file文件中。2>&1是将标准错误（2）重定向到标准输出（&1），标准输出（&1）再被重定向输入到out.file文件中。作业在后台运行的时候，可以把输出重定向到某个文件中，相当于一个日志文件，记录运行过程中的输出。将sh test.sh任务放到后台，但是依然可以使用标准输入，
CentOS 7 设置 Jar包、MinIO、Nginx 开机自启动
根据需要，自己修改 Description 和 ExecStart 的内容即可（ExecStart后面的java命令需要全路径）ExecStart 服务运行执行的命令，放上面创建的脚本位置。[Install] 服务安装的相关设置，可设置为多用户。如果用 yum install 命令安装的，如果使用源码手动编译的则需要手动创建。文件，xxx 就是自定义的服务名称。After:设置在某个服务启动后启动。Description:服务的描述。可以使用这个命令来查看服务启动日志。里面的环境变量是必须的，将。
Linux系统中Java new Date()的时间和系统时间不一致
出现问题：new Date()，的时间和当前时间不一样，发现差了8小时，看到8小时就应该明白了，时区的问题。
linux中&和&&，|和||及分号(；)的用法
在linux中，我们经常会用到&和&&，|和||及分号，但是好多人对其会混淆，不明白其中的意思，今天为大家讲解一下&和&&，|和||及分号(;)各自的说明和用法。
docker-宿主机与容器的命令执行方法
宿主机命令容器执行程序、容器命令宿主机执行程序的方法。
Nginx实战 | 高性能HTTP和反向代理神器Nginx前世今生，以及它的“繁花之境”
Nginx 的历史可以追溯到 1990 年代末期，当时互联网开始迅速发展，传统的 HTTP 服务器如 Apache 开始显得力不从心，无法满足日益增长的访问量和并发请求。Nginx 的设计理念是追求极高的性能和稳定性，同时还具有较低的内存消耗和资源占用，这使得它能够处理大量并发请求，非常适合于需要处理高负载的服务器环境。通过这些测试和优化方法，你可以了解 Nginx 的性能瓶颈，并采取相应的措施来提高其性能。Nginx 的测试和优化可以通过多种方式进行，包括负载测试、性能测试、配置优化和代码级优化。
Linux系统之ifconfig命令的基本使用
ifconfig是Linux中常用的网络配置工具之一，用于配置和显示网络接口的具体状况。