Screaming Frog Log File Analyser 是由 Screaming Frog 开发的一款专业 SEO 工具,用于分析网站的服务器日志文件(log files)。它帮助 SEO 从业者和网站管理员深入了解搜索引擎爬虫(如 Googlebot、Bingbot)如何抓取网站,从而优化网站结构和抓取策略。
🔍 软件简介
🛠 功能特点:
- 日志文件解析
支持 Apache、Nginx、IIS 等常见服务器格式的访问日志。 - 识别搜索引擎爬虫行为
自动识别各类搜索引擎爬虫(包括 Googlebot、Bingbot、Yandex 等)及其访问行为。 - 抓取状态分析
查看搜索引擎爬取哪些 URL、抓取频率、响应状态码(如 200、404、301)等。 - 识别未被抓取的重要页面
对比网站的实际结构与日志数据,找出搜索引擎未爬取但应被爬取的页面。 - 可视化数据报表
包括访问趋势图、爬虫行为分布、状态码统计、文件类型分析等。 - 与 Screaming Frog SEO Spider 联动
可将爬虫数据与日志分析结合,进行更全面的技术 SEO 审查。
📁 支持格式:
.log
,.txt
,.gz
等常见日志文件格式- 日志大小支持高达数百万行(取决于系统性能)
📊 常见用途:
- 分析爬虫抓取频率与规律
- 找出过度抓取或未抓取的重要页面
- 识别服务器错误、重定向问题
- 协助优化 robots.txt 和 sitemap 设置
💻 系统支持:
💼 适用人群:
- SEO 专家与顾问
- 网站管理员 / DevOps 工程师
- 对技术 SEO 有深入需求的网站运营团队
评论留言