在某种程度上讲，“日志就是金钱”。因为如果能够通过日志分析出一个网站具有高流量，则广告商就愿意为此支付费用。对于所有的公司或ICP来说，除了要保证网站稳定正常的运行以外，一个重要的问题就是网站访问量的统计和分析报表，这对于了解和监控网站的运行状态，提高各个网站的服务能力和服务水平是必不可少的。而这些要求都可以通过对Web服务器日志文件的统计和分析来实现。

 

　　一、web日志分析原理

　　

      web服务器日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对日志进行统计、分析和综合，就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布等，更好地加强系统的维护和管理。Web服务模式主要有三个步骤：

　　

      服务请求，包含用户端的众多基本信息，如IP地址、浏览器类型、目标URL等。

　　

      服务响应，Web服务器接收到请求后，按照用户要求运行相应的功能，并将信息返回给用户。如果出现错误，将返回错误代码。

　　

      追加日志，服务器将对用户访问过程中的相关信息以追加的方式保存到日志文件中。如图1 。

 

　图1 Web服务模式主要有三个步骤

　　表1 Web日志分析的元素

　　目前常用的Web服务器有Apache、MS IIS等。而现在互联网上常用的Web服务器就是Apache，因此本文所做的讨论都将以Solaris 10 +Apache环境讨论(其它的应用环境与此类似)。对于Apache来说，支持多种日志文件格式，最常见的是common和combined两种模式。其中，combined方式比common方式日志信息中的Referer(表示该请求来自于哪里，例如来自于yahoo的搜索引擎)和User-agent(用户客户端类型，如firefox或IE)多。

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined  　　LogFormat "%h %l %u %t \"%r\" %>s %b" common  　　LogFormat "%{Referer}i -> %U" referer  　　LogFormat "%{User-agent}i" agent

       由于综合日志格式简单地结合了3种日志信息，所以在配置访问日志时，要么使用一个综合文件进行记录，要么使用分离的多个(1-3)文件记录。通常使用一个综合日志格式文件进行记录，配置为：

CustomLog /var/log/apache2/access.log combined

CustomLog /var/log/apache2/access.log common 　　CustomLog /var/log/apache2/referer.log referer 　　CustomLog /var/log/apache2/agent.log agent

LogFormat "%h %l %u %t \"%r\" %>s %b" common 　　CustomLog logs/access_log common

CustomLog logs/access_log "%h %l %u %t \"%r\" %>s %b"

格式说明符	说明
%v	进行服务的服务器的标准名字 ServerName，通常用于虚拟主机的日志记录中。
%h	客户机的 IP 地址。
%l	从identd服务器中获取远程登录名称，基本已废弃。
%u	来自于认证的远程用户。
%t	连接的日期和时间。
%r	HTTP请求的首行信息，典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。经常可能出现的 METHOD 是 GET、POST 和 HEAD；RESOURCE 是指浏览者向服务器请求的文档或 URL；PROTOCOL 通常是HTTP，后面再加上版本号，通常是 HTTP/1.1。
%>s	响应请求的状态代码，一般这项的值是 200，表示服务器已经成功地响应浏览器的请求，一切正常；以 3 开头的状态代码表示由于各种不同的原因用户请求被重定向到了其他位置；以 4 开头的状态代码表示客户端存在某种错误；以 5 开头的状态代码表示服务器遇到了某个错误。
%b	传送的字节数（不包含HTTP头信息），将日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。
%{Referer}i	记录引用此资源的网页。
%U	请求的URL路径，不包含查询串。

$ apache2 -V| grep DEFAULT_ERRORLOG 　　-D DEFAULT_ERRORLOG="logs/error_log"

等级	应用说明	级别
emerg	出现紧急情况使得该系统不可用，如系统宕机等	1
alert	需要立即引起注意的情况	2
crit	危险情况的警告	3
error	除了emerg、alert、crit的其他错误	4
warn	警告信息	5
notice	需要引起注意的情况，但不如error、warn重要	6
info	值得报告的一般消息	7
debug	由运行于debug模式的程序所产生的消息	8