nginx详细日志,Linux系统怎么分析Nginx日志
一、Linux系统怎么分析Nginx日志
Linux系统下Nginx日志可以查看系统运行记录和出错说明,对Nginx日志的分析可以了解系统运行的状态。那么Linux系统Nginx日志怎么分析呢?
Nginx日志相关配置有 2个地方:access_log和 log_format。
默认的格式:
access_log/data/logs/nginx-access.log;
log_format old‘$remote_addr[$time_local]$status$request_time$body_bytes_sent’
‘“$request”“$http_referer”“$http_user_agent”’;
相信大部分用过 Nginx的人对默认 Nginx日志格式配置都很熟悉,对日志的内容也很熟悉。但是默认配置和格式虽然可读,但是难以计算。
Nginx日志刷盘相关策略可配置:
比如,设置 buffer,buffer满 32k才刷盘;假如 buffer不满 5s钟强制刷盘的配置如下:
access_log/data/logs/nginx-access.log buffer=32k flush=5s;
这决定了是否实时看到日志以及日志对磁盘 IO的影响。
Nginx日志能够记录的变量还有很多没出现在默认配置中:
比如:
请求数据大小:$request_length
返回数据大小:$bytes_sent
请求耗时:$request_time
所用连接序号:$connection
当前连接发生请求数:$connection_requests
Nginx的默认格式不可计算,需要想办法转换成可计算格式,比如用控制字符 ^A(Mac下 ctrl+v ctrl+a打出)分割每个字段。
log_format的格式可以变成这样:
log_format new‘$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A’
‘$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent’;
这样之后就通过常见的 Linux命令行工具进行分析了:
查找访问频率最高的 URL和次数:
cat access.log| awk-F‘^A’‘{print$10}’| sort| uniq-c
查找当前日志文件 500错误的访问:
cat access.log| awk-F‘^A’‘{if($5== 500) print$0}’
查找当前日志文件 500错误的数量:
cat access.log| awk-F‘^A’‘{if($5== 500) print$0}’| wc-l
查找某一分钟内 500错误访问的数量:
cat access.log| awk-F‘^A’‘{if($5== 500) print$0}’| grep’09:00’| wc-l
查找耗时超过 1s的慢请求:
tail-f access.log| awk-F‘^A’‘{if($6》1) print$0}’
假如只想查看某些位:
tail-f access.log| awk-F‘^A’‘{if($6》1) print$3″|”$4}’
查找 502错误最多的 URL:
cat access.log| awk-F‘^A’‘{if($5==502) print$11}’| sort| uniq-c
查找 200空白页
cat access.log| awk-F‘^A’‘{if($5==200&&$8《 100) print$3″|”$4″|”$11″|”$6}’
查看实时日志数据流
tail-f access.log| cat-e
或者
tail-f access.log| tr‘^A’‘|’
照着这个思路可以做很多其他分析,比如 UA最多的访问;访问频率最高的 IP;请求耗时分析;请求返回包大小分析;等等。
这就是一个大型 Web日志分析系统的原型,这样的格式也是非常方便进行后续大规模 batching和 streaming计算。
以上就是Linux系统Nginx日志怎么分析的全部内容了,可以看出来Nginx日志还是有很强大的作用的。
二、nginx不记录服务器日志 怎么回事
nginx的access日志的配置是通过如下的指令:
log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'
'$status$body_bytes_sent"$http_referer"'
'"$http_user_agent""$http_x_forwarded_for"';
access_loglogs/access.logmain;
该指令可以出现在http,server域中。
错误日志是通过如下指令配置的:
error_loglogs/error.loginfo;
默认error_log会放在main域中,如果想让不同server域使用各自的error配置,则需要在server中重配error_log指令。在重新定义错误日志时,如果没有指定相应的日志级别,那么调试日志将会被屏蔽。
如下面的例子里,在server层中重新定义的日志就屏蔽了这个虚拟主机的调试日志:
error_log/path/to/logdebug;
http{
server{
error_log/path/to/log;
#...
#...
}
为了避免这个问题,可以注释这行重新定义日志的配置,或者也给日志指定debug级别,如下所示:
error_log/path/to/logdebug;
http{
server{
error_log/path/to/logdebug;
#...
#...
}
如果nginx进程没有权限将日志信息写入指定的log地址,那么nginx会在启动是报错,如下所示:
[alert]:couldnotopenerrorlogfile:open()"/path/log/nginx/error.log"failed(13:Permissiondenied)
具体的没有打日志的原因还需要根据配置文件具体分析。由于不知道你的配置时什么样子的,因此也无法给出确切解答,但是依据上述分析,应该也可以查处原因。如还有其它疑问,可以继续追问。
三、Nginx配置文件的详细说明
#运行用户
user www-data;
#启动进程,通常设置成和cpu的数量相等
worker_processes 1;
#全局错误日志及PID文件
error_log/var/log/nginx/error.log;
pid/var/run/nginx.pid;
#工作模式及连接数上限
events{
use epoll;#epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能
worker_connections 1024;#单个后台worker process进程的最大并发链接数
# multi_accept on;
}
#设定http服务器,利用它的反向代理功能提供负载均衡支持
http{
#设定mime类型,类型由mime.type文件定义
include/etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log/var/log/nginx/access.log;
#sendfile指令指定 nginx是否调用 sendfile函数(zero copy方式)来输出文件,对于普通应用,
#必须设为 on,如果用来进行下载等应用磁盘IO重负载应用,可设置为 off,以平衡磁盘与网络I/O处理速度,降低系统的uptime.
sendfile on;
#tcp_nopush on;
#连接超时时间
#keepalive_timeout 0;
keepalive_timeout 65;
tcp_nodelay on;
#开启gzip压缩
gzip on;
gzip_disable"MSIE [1-6].(?!.*SV1)";
#设定请求缓冲
client_header_buffer_size 1k;
large_client_header_buffers 4 4k;
include/etc/nginx/conf.d/*.conf;
include/etc/nginx/sites-enabled/*;
#设定负载均衡的服务器列表
upstream mysvr{
#weigth参数表示权值,权值越高被分配到的几率越大
#本机上的Squid开启3128端口
server 192.168.8.1:3128 weight=5;
server 192.168.8.2:80 weight=1;
server 192.168.8.3:80 weight=6;
}
server{
#侦听80端口
listen 80;
#定义使用www.xx.com访问
server_name www.xx.com;
#设定本虚拟主机的访问日志
access_log logs/www.xx.com.access.log main;
#默认请求
location/{
root/root;#定义服务器的默认网站根目录位置
index index.php index.html index.htm;#定义首页索引文件的名称
fastcgi_pass www.xx.com;
fastcgi_param SCRIPT_FILENAME$document_root/$fastcgi_script_name;
include/etc/nginx/fastcgi_params;
}
#定义错误提示页面
error_page 500 502 503 504/50x.html;
location=/50x.html{
root/root;
}
#静态文件,nginx自己处理
location~ ^/(images|javascript|js|css|flash|media|static)/{
root/var/www/virtual/htdocs;
#过期30天,静态文件不怎么更新,过期可以设大一点,如果频繁更新,则可以设置得小一点。
expires 30d;
}
#PHP脚本请求全部转发到 FastCGI处理.使用FastCGI默认配置.
location~.php${
root/root;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME/home/www/www$fastcgi_script_name;
include fastcgi_params;
}
#设定查看Nginx状态的地址
location/NginxStatus{
stub_status on;
access_log on;
auth_basic"NginxStatus";
auth_basic_user_file conf/htpasswd;
}
#禁止访问.htxxx文件
location~/.ht{
deny all;
}
}
}
以上是一些基本的配置,使用Nginx最大的好处就是负载均衡
如果要使用负载均衡的话,可以修改配置http节点如下:
#设定http服务器,利用它的反向代理功能提供负载均衡支持
http{
#设定mime类型,类型由mime.type文件定义
include/etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log/var/log/nginx/access.log;
#省略上文有的一些配置节点
#。。。。。。。。。。
#设定负载均衡的服务器列表
upstream mysvr{
#weigth参数表示权值,权值越高被分配到的几率越大
server 192.168.8.1x:3128 weight=5;#本机上的Squid开启3128端口
server 192.168.8.2x:80 weight=1;
server 192.168.8.3x:80 weight=6;
}
upstream mysvr2{
#weigth参数表示权值,权值越高被分配到的几率越大
server 192.168.8.x:80 weight=1;
server 192.168.8.x:80 weight=6;
}
#第一个虚拟服务器
server{
#侦听192.168.8.x的80端口
listen 80;
server_name 192.168.8.x;
#对aspx后缀的进行负载均衡请求
location~.*.aspx${
root/root;#定义服务器的默认网站根目录位置
index index.php index.html index.htm;#定义首页索引文件的名称
proxy_pass 请求转向mysvr定义的服务器列表
#以下是一些反向代理的配置可删除.
proxy_redirect off;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
proxy_set_header Host$host;
proxy_set_header X-Real-IP$remote_addr;
proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
client_max_body_size 10m;#允许客户端请求的最大单文件字节数
client_body_buffer_size 128k;#缓冲区代理缓冲用户端请求的最大字节数,
proxy_connect_timeout 90;#nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90;#后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90;#连接成功后,后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k;#设置代理服务器(nginx)保存用户头信息的缓冲区大小
proxy_buffers 4 32k;#proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
proxy_busy_buffers_size 64k;#高负荷下缓冲大小(proxy_buffers*2)
proxy_temp_file_write_size 64k;#设定缓存文件夹大小,大于这个值,将从upstream服务器传
}
}
}