大数据日志分析如何对网站日志进行分析

如何对大数据量日志表做分析

对大数据量日志表做分析。

1. 内容的分析的话就只能借助软件比对分析， 2. 对标题分析的话就可以直接通过程序查找。

3. 最后办法就是人工一个个排查了。

为什么说日志分析是开始采用大数据的最佳的起点

因为日志数据是非结构化数据，而且占非结构化数据的90%！，所以说日志分析是开始采用大数据的最佳的起点。

在过去几年，大数据产业更多关注的是如何处理海量、多源和异构的数据，并从中获得价值，而其中绝大多数都是结构化数据。

不可否认，这些数据的体量足够巨大，然而我们今天必须承认这些只是冰山一角——行业公认的数据是，结构化数据仅占到全部数据量的10%！其余90%都是以文件形式存在的非结构化和半结构化数据，包括各种办公文档、图片、视频、音频、设计文档、日志文件、机器数据等。

国内日志,易属于国内商业化方案。

MC、IBM、Informatica、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱。

如何对网站日志进行分析

分析日志： 蜘蛛名称：百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 在日志文件里，搜索以上蜘蛛名称。

就可以看到蜘蛛抓取的痕迹。

我们分析的主要点是，HTTP状态码，如以上的200和301。

" 200 5162 " 代表正常抓取，这次抓取了5162个字节。

不同的服务器或虚拟主机设置的日志记录内容不同。

有的如：200 0 33834 237 953 我们通过多看几条记录，观察规律，可以判断第三个数字代表字节数。

有的如：200 0 0或200 0 64 这是没有记录抓取字节数。

注意：200 0 0和200 0 64 没代表什么问题。

所谓200 0 64代表要被K的言论没有根据，一般的网站都有64代码。

在日志里，发现比较多的HTTP状态码是，200（正常）、304（没变化）、404（错误链接）。

304代表，自从上次抓取后，该内容没有更新。

一般情况下，网站的图片经常会返回该值。

404代表，访问的这个链接是错误链接。

这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。