WordPress搜索引擎蜘蛛分析插件推荐Spider Analyser

如今我们做网站并不是只能搭建网站之后麻木的更新内容就可以，我们需要配合一些辅助SEO工具进行更新内容，以及观察搜索引擎的蜘蛛爬行动向去维护网站。比如我们在更新网站的时候，需要知道当前搜索引擎蜘蛛是否有关顾过网站，以及蜘蛛关顾网站的频率和次数。这些数据是有利于我们后续内容的更新量和做出一些相应的SEO策略。

在之前的文章中我们也有介绍过闪电博的这款Spider Analyser插件的。Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

我们可以看到这款 Spider Analyser 蜘蛛分析插件高级版支持包括百度、谷歌、必应、等全品类的搜索引擎爬虫。支持6个功能，这里整理来自闪电博客对于插件的介绍。

1.蜘蛛概况

支持查看网站日常各大搜索引擎蜘蛛来访的数据；

• 今日蜘蛛-方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
• 趋势图-支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。
• Top10蜘蛛-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
• Top10蜘蛛爬取URL-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比，方便站长对热门蜘蛛爬取页面URL进行分析。
• Top10热门文章-按今天、昨天、最近7天及最近30天查看Top10热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。

2.蜘蛛日志

支持按今天、最近7天及最近30天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。

并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。

3.蜘蛛列表

蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中：

• 蜘蛛清单-清单包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。
• 蜘蛛IP段-在该列表可以查看不同蜘蛛对应IP段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注：蜘蛛IP段拦截属于泛拦截，应审慎操作。
• 疑似伪蜘蛛-协作站长快速发现疑似伪蜘蛛名称及IP地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。
• 蜘蛛拦截-蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。

注：蜘蛛拦截可通过蜘蛛日志列表、蜘蛛清单列表、蜘蛛IP段列表及疑似伪蜘蛛列表对蜘蛛进行拦截。

4.访问路径

支持按今天、最近7天及最近30天查看蜘蛛访问路径（爬取页面URL）具体信息列表，包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。

5.文章爬取

此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。

6.插件设置

• 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。
• 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型，支持添加自定义或者修改新增现有链接类型的规则。
• 日志设置-支持设置插件日志保留时间周期（最近30天、最近3个月、最近6个月、最近1年或永久），日志备份及删除和自定义蜘蛛。

但是，需要注意的是，这款插件使用后，我们需要定期清理缓存数据，确保日志不要占用太大数据库。我们可以用这款插件分析日志的情况，以及对应做出相应的推广策略。