服务器日志分析工具如何查看Web服务器日志
服务器日志分析工具 时间:2022-02-26 阅读:(
)
服务器日志分析工具,怎样查看服务器日志监控
方法一、通过Windows服务器自带的“文件审核功能”来记录服务器文件访问日志、查看服务器文件操作日志。 方法二、借助于专门的服务器文件访问日志记录软件、服务器文件管理系统来记录局域网用户对共享文件的访问操作。 具体的操作的话,可以找海通数据晋慧娟,帮你看下。因为不同的系统,他们的日志的查看方式日志的情况也不一样。如何根据网站日志进行分析并做出优化改进
1. 日志的数据往往比GA之类统计工具的全,更适合对流量的细分分析; 2. 用日志数据写脚本去生成周报什么的,比GA后台慢慢查、或是用GA的API,相对方便快捷; 3. 可以依其数据屏蔽些页面。见到最极端例子是前公司,有个主题帖量大致十万级的论坛,其中大部分抓取,都是抓其中的“只看该作者帖子”的无意义链接。 从爬虫日志分析中能获取的一些SEO信息 1.抓取页面量和流量的分配(一般抓得多的页面权重高,是否着陆合适的关键词) 2.是否有垃圾页面抓取(手机页,带参数的页面,个人profile,各种非200响应码等等) 3.抓取是否有断档,可能是服务器或者程序出了问题 4.抓取能覆盖到页面的比例是多少,链接是否有问题如何分析iis日志
如果你的网站也不定时的出现连接超时,打开超慢的情况,而服务商又说没有问题,不妨跟着本文学着分析IIS日志,自己来解决问题。 IIS日志通常情况下存在于虚拟主机根目录下的logfiles文件夹(有些服务商是WebLog,不同的主机有不同的名称)中,按日期形成的txt文件或log.gz文件。它完整的记录着每一次网站的HTTP请求,包括200,404等。如何通过apache日志分析出网站的PV数和UV数
您好,很高兴为您解答。 一.日志分析 如果apache的安装时采用默认的配置,那么在/logs目录下就会生成两个文件,分别是ess_log和error_log ess_log ess_log为访问日志,记录所有对apache服务器进行请求的访问,它的位置和内容由CustomLog指令控制,LogFormat指令可以用来简化该日志的内容和格式 例如,我的其中一台服务器配置如下 CustomLog “| /usr/sbin/rotatelogs /var/log/apache2/%Y_%m_%d_other_vhosts_ess.log 86400 480″ bined -rw-r–r–?1?root?root?22310750?12-05?23:59?2010_12_05_other_vhosts_ess.log -rw-r–r–?1?root?root?26873180?12-06?23:59?2010_12_06_other_vhosts_ess.log -rw-r–r–?1?root?root?26810003?12-07?23:59?2010_12_07_other_vhosts_ess.log -rw-r–r–?1?root?root?24530219?12-08?23:59?2010_12_08_other_vhosts_ess.log -rw-r–r–?1?root?root?24536681?12-09?23:59?2010_12_09_other_vhosts_ess.log -rw-r–r–?1?root?root?14003409?12-10?14:57?2010_12_10_other_vhosts_ess.log通过CustomLog指令,每天一天生成一个独立的日志文件,同时也写了定时器将一周前的日志文件全部清除,这样可以显得更清晰,既可以分离每一天的日志又可以清除一定时间以前的日志通过制,LogFormat定义日志的记录格式 LogFormat?“%h?%l?%u?%t?”%r”?%>s?%b?”%{Referer}i”?”%{User-Agent}i””bined LogFormat?“%{X-Forwarded-For}i?%l?%u?%t?”%r”?%>s?%b?”%{Referer}i”?”%{User-Agent}i””binedproxy LogFormat?“%h?%l?%u?%t?”%r”?%>s?%b”mon LogFormat?“%{Referer}i?->?%U”?referer LogFormat?“%{User-agent}i”?agent随意的tail一个ess_log文件,下面是一条经典的访问记录 218.19.140.242 – - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″ 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)” 一共是有9项,将他们一一拆开 218.19.140.242 - - [10/Dec/2010:09:31:17?+0800] “GET?/query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml?HTTP/1.1″ 200 1933 “-” “Mozilla/5.0?(Windows;?U;?Windows?NT?5.1;?zh-CN;?rv:1.9.2.8)?Gecko/20100722?Firefox/3.6.8?(.NET?CLR?3.5.30729)”1)?218.19.140.242?这是一个请求到apache服务器的客户端ip,默认的情况下,第一项信息只是远程主机的ip地址,但我们如果需要apache查出主机的名字,可以将 HostnameLookups设置为on,但这种做法是不推荐使用,因为它大大的减缓了服务器.另外这里的ip地址不一定就是客户主机的ip地址,如果 客户端使用了代理服务器,那么这里的ip就是代理服务器的地址,而不是原机. 2) -?这一项是空白,使用”-”来代替,这个位置是用于标注访问者的标示,这个信息是由identd的客户端存在,除非IdentityCheck为on,非则apache是不会去获取该部分的信息 The “hyphen” in the output indicates that the requested piece of information is not available. In this case, the information that is not available is the RFC 1413 identity of the client determined by identd on the clients machine. This information is highly unreliable and should almost never be used except on tightly controlled works. Apache ess_log记录的时间格式是不同的 2) [error]?这一项为错误的级别,根据LogLevel指令来控制错误的类别,上面的404是属于error级别 3) [client 218.19.140.242]?记录客户端的ip地址 4) File does not exist: /home/htmlfile/tradedata/favicon.ico?这一项首先对错误进行了描述,例如客户端访问一个不存在或路径错误的文件,就会给出404的提示错误 二.实用的日志分析脚本 了解日志的各种定义后,这里分享一下从网上淘来的一些对日志分析的脚本 1.查看apache的进程数 ps -aux | grep ess_log | grep “10/Dec/2010″ | awk ‘{print $2}’ | sort | uniq -c | sort -nr 3.查看指定的ip在当天究竟访问了什么url cat ess_log | grep “10/Dec/2010″ | grep “218.19.140.242″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr 4.查看当天访问排行前10的url cat ess_log | grep “10/Dec/2010″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr | head -n 10 5.看到指定的ip究竟干了什么 cat ess_log | grep 218.19.140.242 | awk ‘{print $1″ ”$8}’ | sort | uniq -c | sort -nr | less 6.查看访问次数最多的几个分钟(找到热点) awk ‘{print $4}’ ess_log |cut -c 14-18|sort|uniq -c|sort -nr|head 三.使用awstats自动分析日志 当然啦,如果想最简单和最直观的分析日志还是用工具,现在网上较流行的工具是awstats,一个基于perl的web日志分析工具,功能很强大也支持IIS等服务器 如若满意,请点击右侧【采纳答案】,如若还有问题,请点击【追问】 希望我的回答对您有所帮助,望采纳! ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?~ O(∩_∩)O~有没有人知道,我们要学会如何去看我们服务器日志、我们该怎样查看服务器日志,我是做seo的,有关的方面
利用Windows 2003服务器的远程维护功能,并通过IE浏览界面,就能对服务器的日志文件进行远程查看了,不过默认状态下,Windows 2003服务器的远程维护功能并没有开通,需要手工启动。 查看服务器日志文件的作用 网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通 过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误原 因、了解客户访问分布等,更好的加强系统的维护和管理。 对于自己有服务器的朋友或是有条件可以看到服务器日志文件的朋友来说,无疑是了 解搜索引擎工作原理和搜索引擎对网页抓取频率的最佳途径。 通过这个文件,您可以了解什么搜索引擎、什么时间、抓取了哪些页面,以及可以知 道是主搜索蜘蛛还是从搜索蜘蛛抓取了您的网站等的信息。 访问原理 1、客户端(浏览器)和Web服务器建立TCP连接,连接建立以后,向Web服务器发出 访问请求(如:Get),根据HTTP协议该请求中包含了客户端的IP地址、浏览器类型、 请求的URL等一系列信息。 2、Web服务器收到请求后,将客户端要求的页面内容返回到客户端。如果出现错误,那么返回错误代码。 3、服务器端将访问信息和错误信息纪录到日志文件里。 下面我们就对本公司自己服务器其中的一个日志文件进行分析。由于文件比较长,所以我们只拿出典型的几种情况来说明。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 03:56:30 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 03:56:30 三圆三圆三圆** 218.25.92.169 GET / - 80 - 220.181.18.98 Baiduspider+(+/search/spider.htm) 403 14 5 /* 说明 */ 上面定义了在2006年5月12日的3点56分30秒的时候,IP为220.181.18.98的百度蜘蛛通过80端口(HTTP)访问了IP为218.25.92.169的服务器的根目录,但被拒绝。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 10:18:39 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/index.htm - 80 - 10.2.57.6 Mozilla/4.0+patible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 2006-05-12 10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/***/***.gif - 80 - 10.2.57.6 Mozilla/4.0+patible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 /* 说明 */ 上面定义了在2006年5月12日的10点33分36秒的时候,IP为10.2.57.6的用户正常访问了网站三圆三圆三圆**中***目录下的index.htm页和***/***下的***。gif图片。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 13:17:46 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET /robots.txt - 80 - 66.249.66.72 Mozilla/5.0+patible;+Googlebot/2.1;++/bot.html) 404 0 2 2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET / - 80 - 66.249.66.72 Mozilla/5.0+patible;+Googlebot/2.1;++/bot.html) 403 14 5 /* 说明 */ 上面定义了在2006年5月12日的13点17分46秒的时候,IP为66.249.66.72的Google蜘蛛访问了robots.txt文件,但没有找到此文件,有访问了此网站的根目 录,但被拒绝。 现在也有很多日志分析工具,如果您的服务器流量很大的话,作者推荐使用分析工具来分析服务器日志。 Windows独享主机如何查看服务器系统日志? 服务器系统日志是记载着服务器每时每刻的信息的一个数据库,上面记载着的一些信息对于我们了解服务器的运行状况都有很大的帮助。 查看方法:登陆服务器后进入控制面板—管理工具—事件查看器我想要一个比较好的日志分析工具
你好! ELK这个属于很不错的开元,目前市场也通用很高 ,Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具;Elasticsearch一个开源的搜索引擎框架(支持群集架构方式)。awk 和 grep 肯定也算了,国内目前的日志易算是很牛的了,国外的Splunk···· 如有疑问,请追问。爱站SEO工具包之日志分析工具
爱站SEO工具包之网站日志分析工具的使用方法。 1、此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件(夹)至窗口进行分析,每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。 ? 2、蜘蛛分析之(概要分析)即所有不同的蜘蛛的访问次数、停留时间、总抓取量的数据分析,(还可以单选不同蜘蛛)进行查询。 ? 蜘蛛分析之(概要分析)图表显示,(还可以单选不同蜘蛛)进行查询显示。 ? 3、蜘蛛分析之(目录抓取)即站点目录被抓取的数据量分析。 可以针对对某个目录或蜘蛛进行单独查询分析,且可切换至图表显示,显示抓取量饼图,轻松了解蜘蛛抓取目录概况。 4、蜘蛛分析之(页面抓取) ? 所有页面蜘蛛抓取量分析,还可以针对某个页面或某个蜘蛛进行单独查询分析。切换至图标显示,可以显示页面抓取量饼图,快速了解抓取量最多的页面,轻松分析页面抓取情况。 ? 5、蜘蛛分析之(IP排行) 分析所有蜘蛛IP地址的访问次数、抓取量和停留时长,并可以针对某个ip或蜘蛛进行单独查询分析。 ? 6、搜索引擎分析之(关键词分析)可分析出各搜索引擎来路的关键词。 7、?状态码分析分为用户状态码和蜘蛛状态码。通过查看网站正常状态码和问题状态码,第一时间发现网站的问题页面,及时修改,改善用户体验和蜘蛛体验。 8、按时间统计,工具自动保存不同日期的日志文件数据,每一项统计功能都可以按照时间来分析,可有效查看时间段内的数据变化趋势。(还可以单选不同蜘蛛)进行查询显示。 ? ? 以上就是爱站SEO工具包之网站日志分析工具的详细介绍。windows下怎么分析apache日志
Apache 的标准中规定了4类日志: <br><br> 错误日志 <br> 访问日志 <br> 传输日志 <br> Cookie日志 <br><br>其中:传输日志和Cookie日志被Apache 2.0认为已经过时。所以本节仅仅讨论错误日志和访问日志。同时错误日志和访问日志被Apache 2.0默认设置。 <br>能从日志中获取哪些信息 <br><br> * 访问日志 <br> o 访问服务器的远程机器的地址:可以得知浏览者来自何方 <br> o 浏览者访问的资源:可以得知网站中的哪些部分最受欢迎 <br> o 浏览者的浏览时间:可以从浏览时间(如工作时间或休闲时间)对网站内容进行调整 <br> o 浏览者使用的浏览器:可以根据大多数浏览者使用的浏览器对站点进行优化 <br> * 错误日志 <br> o 获知失效链接 <br> o 获知 CGI 错误 <br> o 获知用户认证错误 <br><br>配置错误日志 <br><br>错误日志记录了服务器运行期间遇到的各种错误,以及一些普通的诊断信息,比如服务器何时启动、何时关闭等。 <br>错误日志配置指令 <br>ErrorLog <br><br>ErrorLog 指令指定了当服务器遇到错误时记录错误日志的文件名。其格式为: <br><br>格式1:ErrorLog 错误日志文件名 <br>格式2:ErrorLog "|管道程序名" <br><br>格式1直接指定错误日志文件名,除非文件位置用”/“开头,否则 ErrorLog 所制定的文件位置是相对于 ServerRoot 目录的相对路径。 <br><br>格式2实现管道日志,它指定一个命令来处理错误日志。 <br>Apache 编译时默认的错误日志可以使用如下命令获得: <br><br>$ apache2 -V| grep DEFAULT_ERRORLOG <br> -D DEFAULT_ERRORLOG="logs/error_log" <br><br>LogLevel <br><br>LogLevel 用于调整记于错误日志中的信息的详细程度。其格式为: <br><br>LogLevel 错误日志记录等级 <br><br>下面着重说说日志记录等级: <br>紧急程度 等级 说明 <br>1 emerg 出现紧急情况使得该系统不可用,如系统宕机等 <br>2 alert 需要立即引起注意的情况 <br>3 crit 危险情况的警告 <br>4 error 除了emerg、alert、crit的其他错误 <br>5 warn 警告信息 <br>6 notice 需要引起注意的情况,但不如error、warn重要 <br>7 info 值得报告的一般消息 <br>8 debug 由运行于debug模式的程序所产生的消息 <br><br>如果指定了等级 warn,那么就记录紧急程度为1至5的所有错误信息。 <br>Ubuntu 中 Apache 的错误日志配置 <br><br>配置错误日志相对简单,只要说明日志文件的存放路径和错误日志记录等级即可。 <br><br>从 Ubuntu 中的 /etc/apache2/apache2.conf 中可知,默认的错误日志存放在 /var/log/apache2/error.log <br><br>ErrorLog /var/log/apache2/error.log <br>LogLevel warn <br><br>您可以在 /etc/apache2/apache2.conf 中设置错误日志记录等级,也可以在相应的虚拟主机的配置文件中设置。 <br>错误日志文件举例 <br><br>下面是一个错误日志文件的截取。 <br><br>$ sudo tac /var/log/apache2/error.log <br>[Wed Jun 20 14:53:15 2007] [error] [client 192.168.0.66] File does not exist: /usr/share/phpmyadmin/favicon.ico <br>[Wed Jun 20 11:12:50 2007] [notice] Apache/2.0.55 (Ubuntu) DAV/2 SVN/1.3.1 mod_python/3.1.4 Python/2.4.3 PHP/5.1.2 configured -- resuming normal operations <br>[Wed Jun 20 11:12:49 2007] [notice] Digest: done <br>[Wed Jun 20 11:12:49 2007] [notice] Digest: generating secret for digest authentication ... <br>[Wed Jun 20 09:22:22 2007] [notice] caught SIGTERM, shutting down <br><br>从文件内容可以看出,每一行记录了一个错误。格式为: <br><br>日期和时间 错误等级 错误消息 <br><br>配置访问日志 <br>CustomLog <br><br>CustomLog 指令用来对服务器的请求进行日志记录。格式为: <br><br>格式1:CustomLog 访问日志文件名 记录格式说明串|格式昵称 <br>格式2:CustomLog "|管道程序名 访问日志文件名" 记录格式说明串|格式昵称 <br><br>其中: <br><br> 1. 访问日志文件名:除非文件位置用”/“开头,否则所制定的文件位置是相对于 ServerRoot 目录的相对路径 <br> 2. 格式昵称:使用 LogFormat 指令将一个记录格式说明串赋以一个名称 <br> 3. 记录格式说明串:用字符串和格式说明符(以%开头)指定日志记录的内容 <br> 4. 管道程序名:管道符”|”后面紧跟着一个程序的路径,这个程序把日志从标准输入设备中读入并处理。 <br><br>在 Ubuntu 的 Apache 默认配置中并没有使用 CustomLog 设置访问日志,若您希望记录访问日志,您需要在虚拟主机的配置文件中分别设置,例如:在 /etc/apache2/sites-available/default 中有如下的设置: <br><br> CustomLog /var/log/apache2/ess.log&bined <br><br>LogFormat <br><br>为了便于分析 Apache 的访问日志,Apache 的默认配置文件中,按记录的信息不同(用不同格式昵称说明不同的信息)将访问日志分为4类,并由 LogFormat 指令定义了昵称,如表所示。 <br>格式分类 格式昵称 说明 <br>普通日志格式mon log format,CLF) &mon 大多数日志分析软件都支持这种格式 <br>参考日志格式(referer log format) referer 记录客户访问站点的用户身份 <br>代理日志格式(agent log format) agent 记录请求的用户代理 <br>综合日志格式bined log format) &bined 结合以上三种日志信息 <br><br>LogFormat 指令用于定义访问日志的记录格式。格式为: <br><br>LogFormat "记录格式说明串" 格式昵称 <br><br>从 /etc/apache2/apache2.conf 中可知,在 Ubuntu 的 Apache 中定义了下面的 4 种类型的访问日志: <br><br>LogFormat "%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i""&bined <br>LogFormat "%h %l %u %t "%r" %>s %b"&mon <br>LogFormat "%{Referer}i -> %U" referer <br>LogFormat "%{User-agent}i" agent <br><br>由于综合日志格式简单地结合了3种日志信息,所以在配置访问日志时,要么使用一个综合文件进行记录,要么使用分离的多个(1-3)文件记录。通常使用一个综合日志格式文件进行记录,配置为: <br><br>CustomLog /var/log/apache2/ess.log&bined <br><br>若使用3个文件分别进行记录,配置为: <br><br>CustomLog /var/log/apache2/ess.log&mon <br>CustomLog /var/log/apache2/referer.log referer <br>CustomLog /var/log/apache2/agent.log agent <br><br>下面的指令组: <br><br>LogFormat "%h %l %u %t "%r" %>s %b"&mon <br>CustomLog logs/ess_log&mon <br><br>与下面的指令等效: <br><br>CustomLog logs/ess_log "%h %l %u %t "%r" %>s %b" <br><br>通常我们配置访问日志时,使用先使用 LogFormat 指令定义格式昵称,然后再在 CustomLog 指令中引用昵称的方法。 <br>格式说明符 <br><br>在使用 LogFormat 和 CustomLog 指令中为了说明要记录的日志内容,可以使用的常用格式说明符如下表。 <br>格式说明符 说明 <br>%v 进行服务的服务器的标准名字 ServerName,通常用于虚拟主机的日志记录中。 <br>%h 客户机的 IP 地址。 <br>%l 从identd服务器中获取远程登录名称,基本已废弃。 <br>%u 来自于认证的远程用户。 <br>%t 连接的日期和时间。 <br>%r HTTP请求的首行信息,典型格式是“METHOD RESOURCE PROTOCOL”,即“方法 资源 协议”。经常可能出现的 METHOD 是 GET、POST 和 HEAD;RESOURCE 是指浏览者向服务器请求的文档或 URL;PROTOCOL 通常是HTTP,后面再加上版本号,通常是 HTTP/1.1。 <br>%>s 响应请求的状态代码,一般这项的值是 200,表示服务器已经成功地响应浏览器的请求,一切正常;以 3 开头的状态代码表示由于各种不同的原因用户请求被重定向到了其他位置;以 4 开头的状态代码表示客户端存在某种错误;以 5 开头的状态代码表示服务器遇到了某个错误。 <br>%b 传送的字节数(不包含HTTP头信息),将日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。 <br>%{Referer}i 记录引用此资源的网页。 <br>%U 请求的URL路径,不包含查询串。 <br>%{User-Agent}i 使用的浏览器信息。 <br>访问日志文件举例 <br><br>由于整个格式说明字符串是放在”“之内的,所以若要输出的日志信息内含有引号,需要将”前加转义符。例如:若要输出子串”GET /apache_pb.gif HTTP/1.0”,则格式字符串为”%r”。查看IIS日志,主要看哪些内容呢?
日志分析就有很多可以分析的了,看你有什么需求了。分析蜘蛛的话,那就看蜘蛛的访问频率,访问文件,访问状态。你到百度去下载一个日志分析工具,最重要的是查看访问状态,有没有404啊,500啊下面哪些工具可以作为测试中遇到问题的日志分析
查看记录文件是很乏味的。记录文件令人厌恶,包含了太多的信息,经常使人非常头疼。幸运的是,这些枯燥的工作有代劳者,利用一些日志分析工具,不仅可以利用日志信息进行调试而且可以提供更多的内容。利用它们可以制作出有意义的各种报告。有很多用来分析服务器日志的工具。本文将重点介绍这些工具的和它们的发展方向。 在评估这些软件包之前,先确定你希望用它们来分析的日志类型。虽然大多数日志分析软件不仅仅支持Web服务器日志,但是,本文仅讨论web服务器的日志记录。记录分析软件能够显示从连接到服务器的IP地址到以饼图表详细说明的哪一类文件访问的次数最多等所有的信息。大多数流行的Web日志分析工具都想努力从日志纪录出挖掘出尽可能多的信息,但是,能够让这些数据具有可读性的工具软件却很少。 有一些记录分析软件包不能区分原始的文件本身和关联的信息。以令人赏心悦目的方式显示数据是一种非常重要的特性。用户界面设计者每一次创建一个新的范例,都会成为其他设计者模仿的标准。有些网络记录分析程序在这方面比其它的程序做得好一些。 Webalizer是最流行的记录分析工具之一。很多人都喜欢这个工具,因为这个工具软件是用C语言编写的,运行的速度非常快。然而,这个工具软件的图形不是很理想。软件的GD图形库提供了一些可读的图表。但是,这些图表从审美学的角度看并不是那样吸引人。这些报告本身足以提供一些重要的数据要点,也就是“访问了什么网页”和“我们的点击率是多少”等信息,让人们快速了解网络记录的概况。在恰当地使用这个工具软件时,这些信息不会让人们应接不暇。Webalizer是一个不错的工具软件。但是,这个软件普普通通的图形界面和缺乏统计数据,使它在我们五星级评分系统中仅获得了三个星。Linux 服务器日志统计有什么比较好的工具或开源软件
初级: syslog基中管理 + 手工编写分析脚本 + CGI输出,适合简单分析,数据量不大的场景 进阶:LogStash,是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。个人用下来感觉它的全文检索功能最为强大,基本上你可以把它看成是splunk的开源解决方案 更灵活: Flume + Hadoop + Hive,这三个都是属于Apache基金会下的项目,Flume用与收集日志,Hadoop用于分析与存储,Hive用于存放处理后的数据。这个方案是最灵活也是最强大的,不过搭配起来需要花时间,UI要另外编写。awstats是什么级别的日志
AWStats是在e上发展很快的一个基于Perl的WEB日志分析工具。 AWStats的优势在于: 1. 界面友好,可以根据浏览器直接调用相应语言界面(有简体中文版)。 2. 基于Perl,并且很好的解决了跨平台问题,系统本身可以运行在GNU/Linux上或Windows上(安装了ActivePerl后),分析的日志直接支持Apache格式 bined)和IIS格式(需要修改)。 3. 效率比较高,AWStats输出统计项目比Webalizer丰富了很多,速度仍可以达到Webalizer的1/3左右,对于一个日访问量 百万级的站点,这个速度都是足够的。 4. 配置/定制方便,系统提供了足够灵活但缺省也很合理的配置规则,需要修改的缺省配置不超过3,4项就可以开始运行,而且修改和扩展的插件还是 比较多的。 5. AWStats的设计者是面向精确的"Human visits"设计的,因此很多搜索引擎的机器人访问都被过滤掉了,因此有可能比其他日志统计工具统计的数字要低,来自公司内部的访问也可以通过IP过滤 设置过滤掉。 6. 提供了很多扩展的参数统计功能使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。iis日志问题,能帮我回答下吗?
Linux下有非常好的日志分享软件AWStats的自我介绍Advanced Web Statistics(AWStats)是一个免费的功能强大的服务器日志分析工具,它可以告诉你所有的Web统计数据,包括访问量、访问者数量、页面、点击、高峰时段、操作系统、浏览器版本、搜索引擎、关键字、机械访问、无效连接等等。可以工作在大多数服务器上(IIS 5.0+,Apache,…),可以从命令行或者CGI运行。优势分析: AWStats Vs. Webalizer 与另一款曾在开源社区叱咤风云的日志分析软件Webalizer相比,AWStats具有如下优势:具有友好的用户界面:多语言支持,如简体中文 良好的跨平台支持:AWStats基于Perl,可运行在GNU/Linux或Windows上(需安装ActivePerl),分析的日志直接支持Apache格式 bined)和IIS格式(需要修改);相比较之下,Webalizer在Windows平台下的则一直毛病多多。对大型站点,具有多台Web服务器甚至混合GNU/Linux/Apache和Windows/IIS的情况也可实现由一套系统统一分析。 高效:AWStats支持比Webalizer丰富许多的分析项目,同时速度仍可以达到Webalizer的1/3左右,这对访问量较大的网站,尤其是日访问量百万量级的网站来说是非常重要的。 配置简单灵活:对熟练用户来说,系统提供了非常灵活的配置手段;而对入门用户而言,其缺省配置相当合理,安装完成后只需改动3、4项就即可,易于上手。 统计分析更为准确:AWStats面向精确的”Human visits”,也即是只统计真正的访问用户,其过滤机制可以保证将搜索引擎的spider访问与用户访问区别开来,其他如自身的访问也可过滤,这就能够提供更准确的分析结果。 提供了很多扩展的参数统计功能:使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。 此外,AWStats还支持对ftp和mail 服务器的日志分析。有什么好用的tomcat日志分析工具
您好,很高兴为您解答。 一般的web server有两部分日志: 1:是运行中的日志,它主要记录运行的一些信息,尤其是一些异常错误日志信息 2:是访问日志信息,它记录的访问的时间,IP,访问的资料等相关信息。 现在我来和大家介绍一下利用tomcat产...如何使用光年日志分析工具
光年分析日志是著名的SEO专家发明的,可以有效的分析网站的访问日志,为网站运维提供可靠的数据,确保网站朝正确的方向发展。这里,就来说下如何使用光年日志分析工具。
工具/原料
光年日志分析工具。
方法/步骤
首先要有此款软件,可以自己在百度上自行搜索并下载。双击快捷图标启动光年分析工具。
点击新建任务图标,或者可以点击文件然后选择【新建任务】选项。
由于光年分析工具可以自动检测不同服务器的日志格式,所以采用默认的日志类型选项,直接点击下一步
在任务向导的第二步点击【添加】按钮来选择自己要分析的日志
这里就需要自己提前用FTP软件下载好日志,然后添加这些日志,点击【下一步】
选择要保存结果的目录,我们一般选择桌面,再点击下一步
接下去选择“马上分析日志”,之后结果就会被保存在桌面,打开保存的文件夹,选择里面的网页图标,双击打开,就可以查看各大爬虫的访问记录。Linux如何查看每天晚上凌晨备份/var/log下的日志信息?
linux服务器查看分析日志文件的方法一步分为三种: 1. 直接登陆服务器端查看:cat ?/var/log/xxx.log ?|more 2. 通过ftp软件下来到本地,然后把xxx.log文件导入到.xls表格内,进行具体分析。 3. 下载下来的日志文件比较大,可以使用360分析工具等工具进行日志分析。 为了避免登陆服务器造成服务器压力和误操作,一般会采用第二种和第三种办法。日志分析是一项很重要的工作,需要每天进行。iis日志分析工具怎么用?
IIS日志建议使用W3C扩充日志文件格式,这也是IIS 5.0已上默认的格式,可以指定每天记录客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理,每天要审查日志。如图1所示。
IIS 的WWW日志文件默认位置为 %systemroot%system32logfilesw3svc1,(例如:我的则是在 C:WINDOWSsystem32LogFilesW3SVC1),默认每天一个日志。
建议不要使用默认的目录,更换一个记录日志的路径,同时设置日志访问权限,只允许管理员和SYSTEM为完全控制的权限。 如图2所示。
如果发现IIS日志再也不记录了,解决办法:
看看你有没有启用日志记录:你的网站--> 属性 -->“网站”-->“启用日志”是否勾选。
日志文件的名称格式是:ex+年份的末两位数字+月份+日期。
( 如2002年8月10日的WWW日志文件是ex020810.log )
IIS的日志文件都是文本文件,可以使用任何编辑器或相关软件打开,例如记事本程序,AWStats工具。
开头四行都是日志的说明信息
#Software 生成软件
#Version 版本
#Date 日志发生日期
#Fields 字段,显示记录信息的格式,可由IIS自定义。
日志的主体是一条一条的请求信息,请求信息的格式是由#Fields定义的,每个字段都有空格隔开。
字段解释
data 日期
time 时间
cs-method 请求方法
cs-uri-stem 请求文件
cs-uri-query 请求参数
cs-username 客户端用户名
c-ip 客户端IP
cs-version 客户端协议版本
cs(User-Agent) 客户端浏览器
cs(Referer) 引用页
下面列举说明日志文件的部分内容(每个日志文件都有如下的头4行):
#Software: Microsoft Information Services 6.0
#Version: 1.0
#Date: 2007-09-21 02:38:17
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2007-09-21 01:10:51 10.152.8.17 - 10.152.8.2 80
GET /seek/images/ip.gif - 200 Mozilla/5.0+(X11;+U;+Linux+2.4.2-2+i686;+en-US;+0.7)
上面各行分别清楚地记下了远程客户端的:
连接时间 2007-09-21 01:10:51
IP地址 10.152.8.17 - 10.152.8.2
端 口 80
请求动作 GET /seek/images/ip.gif - 200
返回结果 - 200 (用数字表示,如页面不存在则以404返回)
浏览器类型 Mozilla/5.0+
系统等相关信息 X11;+U;+Linux+2.4.2-2+i686;+en-US;+0.7
附:IIS的FTP日志
IIS的FTP日志文件默认位置为%systemroot%system32logfilesMSFTPSVC1,对于绝大多数系统而言(如果安装系统时定义了系统存放目录则根据实际情况修改)则是C:winntsystem32logfiles MSFTPSVC1,和IIS的WWW日志一样,也是默认每天一个日志。日志文件的名称格式是:ex+年份的末两位数字+月份+日期,如2002年8月10日的WWW日志文件是ex020810.log。它也是文本文件,同样可以使用任何编辑器打开,例如记事本程序。和IIS的WWW日志相比,IIS的FTP日志文件要丰富得多。下面列举日志文件的部分内容。
#Software: Microsoft Information Services 6.0
#Version: 1.0
#Date: 2002-07-24 01:32:07
#Fields: time cip csmethod csuristem scstatus
03:15:20 210.12.195.3 [1]USER administator 331
(IP地址为210.12.195.2用户名为administator的用户试图登录)
03:16:12 210.12.195.2 [1]PASS - 530 (登录失败)
03:19:16 210.12.195.2 [1]USER administrator 331
(IP地址为210.12.195.2用户名为administrator的用户试图登录)
03:19:24 210.12.195.2 [1]PASS - 230 (登录成功)
03:19:49 210.12.195.2 [1]MKD brght 550 (新建目录失败)
03:25:26 210.12.195.2 [1]QUIT - 550 (退出FTP程序)
有经验的用户可以通过这段FTP日志文件的内容看出,来自IP地址210.12.195.2的远程客户从2002年7月24日3:15开始试图登录此服务器,先后换了2次用户名和口令才成功,最终以administrator的账户成功登录。这时候就应该提高警惕,因为administrator账户极有可能泄密了,为了安全考虑,应该给此账户更换密码或者重新命名此账户。
如何辨别服务器是否有人曾经利用过UNICODE漏洞入侵过呢?可以在日志里看到类似如下的记录:
如果有人曾经执行过copy、del、echo、.bat等具有入侵行为的命令时,会有以下类似的记录:
13:46:07 127.0.0.1 GET /scripts/..\../winnt/system32/cmd".exe 401
13:46:07 127.0.0.1 GET /scripts/..\../winnt/system32/cmd".exe 200
13:47:37 127.0.0.1 GET /scripts/..\../winnt/system32/cmd".exe 401
相关软件介绍:
如果入侵者技术比较高明,会删除IIS日志文件以抹去痕迹,这时可以到事件查看器看来自W3SVC的警告信息,往往能找到一些线索。当然,对于访问量特别大的Web服务器,仅靠人工分析几乎是不可能的--数据太多了!可以借助第三方日志分析工具,如Faststs Analyzer、Logs2Intrusions v.1.0等。此处仅仅介绍一下Logs2Intrusions日志分析工具。它是一个由Turkish Security Network公司开发的自由软件,是免费的日志分析工具,可以分析IIS 4/5、Apache和其他日志文件。可以到 /logs2intrusions下载最新的版本。该软件简单易用,下面是它的主界面,如图3所示。
单击【Select】按钮后选择要分析的日志文件,然后单击【Next】按钮,在出现的窗口中单击【Begin Work】按钮即可开始分析,如图4所示。
如图4所示,它表明已经发觉入侵的痕迹。如果没有发现痕迹则弹出如图5所示的对话框。
在发现痕迹后单击【Next】按钮继续,如图6所示。
【View Report】按钮是查看报告,【Save Report】按钮是保存报告,【New Report】按钮是生成新报告。下面是报告的例子,如图7所示。
在"Intrusion Attempt"列中列出了超链接,选择它可以得到Trsecurity公司的专家的建议。和该软件同一目录中的sign.txt是入侵行为特征的关键字,用户可以根据新的漏洞的发现而随时补充。网站日志的查看方法
网站日志一般存放在虚拟主机的logfiles文件夹下,可以通过FTP工具将网站日志下载下来,下载下来的为log格式的文档,可通过txt文档方式查看。 如何查看自己的服务器的日记? (以Windows 2003系统为例) 1、开始--管理工具--事件查看器--系统 或者 控制面板--管理工具--事件查看器--系统。 2、在远程客户端,运行IE浏览器,在地址栏中输入“https://Win2003服务器IP地址:8098”,如“https://192.168.1.1:8098”。在弹出的登录对话框中输入管理员的用户名和密码,点击“确定”按钮即可登录Web访问接口管理界面。接着在“欢迎使用”界面中点击“维护”链接,切换到“维护”管理页面,然后点击“日志”链接,进入到日志管理页面。在日志管理页面中,管理员可以查看、下载或清除Windows 2003服务器日志。选择系统日志可进行查看。并且在日志管理页面中可列出Windows 2003服务器。如何查看Web服务器日志
利用Windows 2003服务器的远程维护功能,并通过IE浏览界面,就能对服务器的日志文件进行远程查看了,不过默认状态下,Windows 2003服务器的远程维护功能并没有开通,需要手工启动。 查看服务器日志文件的作用 网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通 过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误原 因、了解客户访问分布等,更好的加强系统的维护和管理。 对于自己有服务器的朋友或是有条件可以看到服务器日志文件的朋友来说,无疑是了 解搜索引擎工作原理和搜索引擎对网页抓取频率的最佳途径。 通过这个文件,您可以了解什么搜索引擎、什么时间、抓取了哪些页面,以及可以知 道是主搜索蜘蛛还是从搜索蜘蛛抓取了您的网站等的信息。 访问原理 1、客户端(浏览器)和Web服务器建立TCP连接,连接建立以后,向Web服务器发出 访问请求(如:Get),根据HTTP协议该请求中包含了客户端的IP地址、浏览器类型、 请求的URL等一系列信息。 2、Web服务器收到请求后,将客户端要求的页面内容返回到客户端。如果出现错误,那么返回错误代码。 3、服务器端将访问信息和错误信息纪录到日志文件里。 下面我们就对本公司自己服务器其中的一个日志文件进行分析。由于文件比较长,所以我们只拿出典型的几种情况来说明。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 03:56:30 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 03:56:30 三圆三圆三圆** 218.25.92.169 GET / - 80 - 220.181.18.98 Baiduspider+(+/search/spider.htm) 403 14 5 /* 说明 */ 上面定义了在2006年5月12日的3点56分30秒的时候,IP为220.181.18.98的百度蜘蛛通过80端口(HTTP)访问了IP为218.25.92.169的服务器的根目录,但被拒绝。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 10:18:39 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/index.htm - 80 - 10.2.57.6 Mozilla/4.0+patible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 2006-05-12 10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/***/***.gif - 80 - 10.2.57.6 Mozilla/4.0+patible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 /* 说明 */ 上面定义了在2006年5月12日的10点33分36秒的时候,IP为10.2.57.6的用户正常访问了网站三圆三圆三圆**中***目录下的index.htm页和***/***下的***。gif图片。 #Software: Microsoft Information Services 6.0 #Version: 1.0 #Date: 2006-05-12 13:17:46 #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET /robots.txt - 80 - 66.249.66.72 Mozilla/5.0+patible;+Googlebot/2.1;++/bot.html) 404 0 2 2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET / - 80 - 66.249.66.72 Mozilla/5.0+patible;+Googlebot/2.1;++/bot.html) 403 14 5 /* 说明 */ 上面定义了在2006年5月12日的13点17分46秒的时候,IP为66.249.66.72的Google蜘蛛访问了robots.txt文件,但没有找到此文件,有访问了此网站的根目 录,但被拒绝。 现在也有很多日志分析工具,如果您的服务器流量很大的话,作者推荐使用分析工具来分析服务器日志。
- 服务器日志分析工具如何查看Web服务器日志相关文档
数脉科技怎么样?昨天看到数脉科技发布了7月优惠,如果你想购买香港服务器,可以看看他家的产品,性价比还是非常高的。数脉科技对香港自营机房的香港服务器进行超低价促销,可选择10M、30M的优质bgp网络。目前商家有优质BGP、CN2、阿里云线路,国内用户用来做站非常不错,目前E3/16GB阿里云CN2线路的套餐有一个立减400元的优惠,有需要的朋友可以看看。点击进入:数脉科技商家官方网站香港特价阿里云...
前天,还有在"Hostodo商家提供两款大流量美国VPS主机 可选拉斯维加斯和迈阿密"文章中提到有提供两款流量较大的套餐,这里今天看到有发布四款庆祝独立日的七月份的活动,最低年付VPS主机13.99美元,如果有需要年付便宜VPS主机的可以选择商家。目前,Hostodo机房可选拉斯维加斯和迈阿密两个数据中心,且都是基于KVM虚拟+NVMe整列,年付送DirectAdmin授权,需要发工单申请。(如何...
EdgeNat 商家在之前也有分享过几次活动,主要提供香港和韩国的VPS主机,分别在沙田和首尔LG机房,服务器均为自营硬件,电信CN2线路,移动联通BGP直连,其中VPS主机基于KVM架构,宿主机采用四路E5处理器、raid10+BBU固态硬盘!最高可以提供500Gbps DDoS防御。这次开年活动中有提供七折优惠的韩国独立服务器,原生IP地址CN2线路。第一、优惠券活动EdgeNat优惠码(限月...
服务器日志分析工具为你推荐
android游戏开发教程android手机游戏开发教程如何学好?qq空间维护qq空间打不开怎么维护圣诞节网页制作圣诞节贺卡制作微软将停止支持32位Win10系统win10 64位怎么兼容32位微软将停止支持32位Win10系统你使用的Windows10即将终止服务是什么意思?iphone12或支持北斗导航苹果12屏幕设置淘气鸟八哥鸟忽然死了?百度创业史百度能创业成功的原因是什么客服系统方案营销呼叫中心系统的特点及解决方案?微信语音在哪个文件夹【求助】微信语音的文件夹在哪里??
新通用顶级域名 bbr 百度云100as 国外服务器 免费个人博客 南昌服务器托管 免费个人空间申请 天互数据 台湾谷歌 双12 1元域名 太原联通测速 上海电信测速 阿里云邮箱登陆地址 工信部icp备案查询 万网主机 中国联通宽带测试 广州主机托管 好看的空间 美国主机 更多