日志蜘蛛分析大师是网站设计的一款专用日志分析软件，软件可以根据导入的服务器日志文件来判断网页是否被蜘蛛爬取，统计出来访PV、来访IP和来访蜘蛛等数据，帮助站长朋友做好网页的内容优化，统计结果直接导出。

基本简介

简要说明: 分析服务器日志得到关于IP/PV和各种蜘蛛的爬行记录，支持六大蜘蛛，支持24小时分析

软件功能

本软件主要包括上下两部分，上部是导入和导出路径选择，下部是配置选项和分析结果显示界面。

导入路径：选择导入单个或多个日子文件;

导出路径：选择分析结果要放入的文件名;

配置选项：指定你要进行“PV分析”“IP分析”还是“来访蜘蛛分析”。

结果显示：根据你选择额度配置选项来显示统计分析后的结果。

使用方法

1.点击“导入日志文件”，载入日志文件，支持多选;

2.点击“导出文件选择”，选择存放导出结果的文件名;

3.选择需要统计的次数类别后，点击“开始统计”，分析结果会显示在文本框中;

4.点击“执行导出”，分析结果会写入第二个文本框设定的文件中;

5.点击“帮助”，会显示帮助信息，点击“退出”，则退出日志蜘蛛分析大师。

蜘蛛相关介绍

什么是蜘蛛日志?

所谓的蜘蛛日志就是当搜索引擎向服务器发送请求时产生的访问记录文件。

每个网站都会有日志文件，但是很多时候，日志文件只有在网站出现问题的时候才会被查阅。在seo方面，日志文件是更容易被忽略的一块，但是日志文件对于seo来说事非常重要的，我们可以在日志文件中获取各种信息并发现网站存在的一些问题。

日志可以去哪里拿到?

日志文件一般是在wwwlog或者log这样的文件夹里面可以下载。

在日志中可以查看哪些数据?

1.客户端的IP地址

2.访问时间

3.查看http状态码

4.请求方式等等

查看蜘蛛日志常用的一些命令

1.cat access.log | grep Baiduspider 命令来获取百度蜘蛛的详细爬取记录

2.cat access.log | grep Baiduspider | wc -l 命令来统计百度蜘蛛的爬取次数

3.cat access.log | grep Baiduspider | grep "GET url" 来统计百度蜘蛛爬取某个页面的记录，命令中的url为页面的相对地址。

grep指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为-，则grep指令会从标准输入设备读取数据。在分析日志的时候使用该工具，可以精确找出我们想看的日志内容，减少筛选时间，提升自身的工作效率。可以根据我们实际的场景，输入关键词来过滤日志。

蜘蛛日志有何作用?

1.通过对蜘蛛日志的分析，我们可以知道蜘蛛是否对站点进行了抓取，以及抓取是否成功，判断抓取资源是否被浪费，也可以判断我们的网站是否符合搜索引擎的抓取规范，找到抓取失败的原因。

2.如果某个页面被蜘蛛频繁地抓取，我们可以对这个页面做一些调整(比如布局)，可以在页面中添加一些链接。但有些频繁地抓取是蜘蛛恶意的抓取，如果蜘蛛的访问频率过高，很可能会影响正常服务的运行，通过对蜘蛛日志的分析，可以发现恶意蜘蛛的足迹，然后可以限制蜘蛛的访问频率来保证服务器的稳定。

3.通过分析日志文件，我们可以发现蜘蛛的访问路径，有次我们可以优化我们的站点结构。

总结：利用日志我们可以挖掘到很多的信息，我们可以通过日志中的状态码来分析网站是否存在问题，如是否存在死链，页面失效等错误。我们通过日志可以发现用户对整站页面的访问次数、访问时间以及访问路径，通过这些可以分析用户的行为习惯。通过日志我们甚至可以防范恶意攻击，因此，日志分析在做网站的过程中是必不可少的。