Screaming Frog SEO Spider

其实Screaming Frog SEO Spider下载 Screaming Frog SEO Spider（v4.33.6）免费版的问题并不复杂，但是又很多的朋友都不太了解小编亲测优质的APP，因此呢，今天小编就来为大家分享Screaming Frog SEO Spider下载 Screaming Frog SEO Spider（v4.33.6）免费版的一些知识，希望可以帮助到大家，下面我们一起来看看这个问题的分析吧！

软件功能

1. 查找损坏的链接、错误和重定向

2. 分析页面标题和元数据

3.审查元机器人和指令

4. 审核hreflang属性

5. 发现重复页面

6. 生成XML 站点地图

7. 抓取限制

8. 捕获配置

9. 保存捕获并重新上传

10.定制源码搜索

11. 自定义提取

12. 谷歌分析集成

13. 搜索控制台集成

14. 链接指标集成

15. JavaScript渲染和抓取

16.自定义robots.txt抓取

软件特色

1. 找到损坏的链接

立即抓取网站以查找损坏的链接(404) 和服务器错误。批量导出错误和源URL以修复或发送给开发人员。

2. 审计重定向

查找临时和永久重定向，识别重定向链和循环，或上传URL 列表以在网站迁移期间进行审核。

3. 分析页面标题和元数据

在抓取过程中分析页面标题和元描述，并识别网站中过长、过短、缺失或重复的页面标题和元描述。

4.查找重复内容

使用md5 算法检查精确重复的URL、部分重复的元素（例如页面标题、描述或标题），并查找内容较少的网页。

5.使用XPath提取数据

使用CSS Path、XPath 或regex 从网页的HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 等等！

安装步骤

1、需要的用户可以点击本网站提供的下载路径下载相应的程序安装包。

2、通过解压功能打开压缩包，找到主程序，双击主程序进行安装。您可以直接安装或自定义它。

3、点击第二次自定义安装的用户可以根据自己的需要点击浏览按钮更改应用程序的安装路径。

4. 您可以根据自己的需要选择快捷键，也可以选择不创建。

5. 现在准备安装主程序。单击“安装”按钮开始安装

6. 等待应用程序安装进度条加载完成。您需要等待一段时间。

7. 根据提示单击“安装”。弹出程序安装完成界面。单击完成按钮。

方法

1.程序安装后，您可以直接点击该程序将其打开并同意程序许可协议。

2. 单击程序注册按钮。点击后，将打开应用程序的注册界面，并获得相应的程序界面。

3、打开安装包中的程序注册机。打开后可以看到对应的程序注册信息。

5.激活成功后，您将看到激活成功界面。单击确认按钮即可享受该应用程序。

使用方法

运行SEO 蜘蛛

SEO Spider 可以通过两种方式之一运行。

图形用户界面

点击屏幕左下角的“开始”图标，输入“SEO Spider”找到它并点击它开始，

故障排除

“打开文件写入错误” 重新启动计算机并再次尝试安装。

抓取子文件夹

默认情况下，SEO Spider 工具从子文件夹路径向前爬行。只需输入完整的子文件夹URL 即可对其进行抓取。

例如，如果它是一个博客，则可能是- https://www.screamingfrog.co.uk/blog/。通过直接将其输入SEO Spider，它将抓取/blog/子文件夹中包含的所有URL。

您可能会注意到，默认情况下也会抓取一些不在/blog/子文件夹中的URL。这是由于“检查启动文件夹外部的链接”配置造成的。

通过此配置，SEO Spider 可以将其焦点集中在/blog/目录上，但在从内部链接到该目录时仍然抓取不在该目录中的链接。但是，它不会再进一步爬行。这很有用，因为您可能希望找到/blog/子文件夹中的损坏链接，但URL 结构中没有/blog/。要仅抓取/blog/URL，只需取消选中此配置即可。

如果子文件夹末尾没有斜杠，例如“/blog”而不是“/blog/”，SEO Spider 将不会将其识别为子文件夹并在其中爬行。如果子文件夹的斜线版本重定向到非斜线版本，则同样适用。

要爬网此子文件夹，您需要使用include 函数并输入子文件夹的正则表达式（在此示例中为.*blog.*）。

如果您有更复杂的设置（例如子域和子文件夹），则可以同时指定两者。例如 http://de.example.com/uk/，蜘蛛.de 子域和UK 子文件夹等。

搜索网址列表

除了通过输入网址并单击“开始”来抓取网站外，您还可以切换到列表模式并粘贴或上传要抓取的特定网址列表。

例如，这对于审核URL 和重定向的站点迁移特别有用。我们建议阅读有关如何审核站点迁移中的重定向的指南，以获得最佳方法。

如果您希望按照与列表模式上传相同的顺序导出数据，请使用用户界面顶部“上传”和“开始”按钮旁边的“导出”按钮。

导出中的数据将按相同顺序排列，并包含原始上传文件中的所有准确URL，包括重复文件或执行的任何修复

抓取更大的网站

如果您期望执行特别大的爬行，建议您首先增加SEO Spider 中的RAM 内存分配。

如果收到“此爬网内存不足”警告，则需要保存爬网，增加RAM 分配并考虑切换到数据库存储模式以保存到磁盘，打开爬网并继续爬网。

SEO Spider可以爬取的URL数量取决于您的计算机可用内存量、是否分配内存以及是否以默认内存存储或数据库存储模式爬取。

对于大型爬网，请阅读我们有关如何爬网大型网站的指南，其中概述了可用的选项。

您可能希望考虑将爬网分成更小的部分并使用配置来控制爬网。一些选项包括

如上所述按子域或子文件夹进行爬网。

使用include 函数缩小抓取范围，或者使用排除或自定义robots.txt 函数排除您不想抓取的区域。

考虑限制爬取的URL总数、深度和查询字符串参数的数量。

通过在SEO Spider 配置中取消选中图像、CSS、JavaScript、SWF 和外部链接，仅考虑内部HTML 进行爬行。

这些应该有助于节省内存并将爬网集中在如何爬网大型网站的重要区域。

常见问题

可转位和不可转位是什么意思？

爬网中找到的每个URL 都被分类为“可索引”或“不可索引”。

“可索引”是指可以被抓取、以“200”状态代码响应并允许被索引的URL。

“无法编入索引”是指无法抓取、不会以“200”状态代码响应或具有未编入索引的指令的URL。

每个不可索引的URL 都有一个与之关联的“可索引状态”，这可以快速解释为什么它不可索引。

不可索引的URL 可以包括以下URL -

被robots.txt 阻止。

没有回应。

重定向（3XX、元刷新或JavaScript 重定向）。

客户端错误(4XX)。

服务器错误（5XX）。

无索引（或“无”）。

标准化。不。

SEO Spider 将考虑元机器人、X-Robots-Tag、规范链接元素以及指令和规范的rel="canonical" HTTP 标头信息。网站由于各种原因进行自引用元刷新是很常见的，并且通常这不会影响页面的索引。但是，由于它正在重定向到自身，因此应进行进一步调查，这就是它被标记为“不可索引”的原因。

要停止将自引用元刷新URL 视为“不可索引”，请取消选中“配置Spider 高级”下的“尊重自引用元刷新”配置。你们有API 吗？

简而言之，不。 SEO Spider 是一个桌面应用程序，您可以在本地下载、安装和运行。因此没有API。

有一个命令行界面可以以编程方式使用该工具。 SEO Spider还具有内置的调度功能。

为什么GUI文本乱码？

这是由本地字体问题触发的，通常是由于安装了重复的Arial 字体引起的。

要进行调查，请打开“FontBook”应用程序。转到“编辑- 查找启用的重复项.”以删除所有重复项。解决这些问题后，尝试重新启动SEO Spider。如果您仍然遇到问题，请返回FontBook 并查看您的Arial 字体，是否有任何需要修复的消息？如果是这样，请修复它们并重新启动SEO Spider。如果仍有问题，请转到“文件- 恢复标准字体.”。从中删除的字体将进入字体簿中的单独文件夹，因此您可以根据需要将它们添加回来。

列表模式导出如何维护订单？

如果您希望按照上传顺序以列表模式导出数据，请使用用户界面顶部“上传”和“开始”按钮旁边的“导出”按钮。维护出口清单顺序

导出中的数据将按相同顺序排列，并包含原始上传的所有准确URL，包括重复项或执行的任何更正。

为什么在授予我的Google 帐户访问权限时出现错误？

允许SEO Spider 访问您的Google 帐户后，您应该会被重定向到如下所示的屏幕： 但是，如果您收到如下错误： 您需要检查以下几项内容：

您的计算机上是否运行任何安全软件来阻止SEO Spider 侦听URL 中指定的端口？端口是上面截图中地址栏中localhost:63212后面的数字。

您的浏览器是否会将本地主机的请求发送到代理？有时您可以判断崩溃屏幕是否提到代理服务器的名称，例如Squid。

推荐什么硬件？

简而言之：对于100-200k URL 的抓取，64 位操作系统和8GB RAM 就足够了。为了能够抓取数百万个URL，建议使用SSD 和16GB RAM。

硬盘：我们强烈建议您使用SSD，并将SEO Spider切换到数据库存储模式来爬取大型网站。

内存：默认情况下，SEO Spider 将所有抓取数据存储在内存中，但可以将其配置为将数据存储在数据库中以抓取更多URL。您分配的内存越多，您在常规内存存储模式和数据库存储模式下能够抓取的URL 就越多。为了能够分配超过1GB 的内存，您需要64 位操作系统。过去五年购买的大多数PC 都将运行64 位操作系统。因此，最重要的是确保有足够的可用内存。每个网站所需的内存量都是独一无二的，因此我们无法提供抓取一定数量的URL 需要多少内存的准确数字。作为一个非常粗略的指导，具有8GB RAM 的64 位计算机通常允许您在内存存储模式下抓取大约200,000 个URL。在数据库存储模式下，这应该允许您抓取大约。 500 万个URL。

CPU：爬行速度通常会受到网站本身的限制，而不是SEO Spider 的限制，因为大多数网站都会限制它们从单个IP 接受的并发连接数。当爬取数千个URL 时，某些操作将受CPU 限制，例如排序和搜索，因此快速的CPU 将有助于最大限度地减少这些速度下降。

为什么蜘蛛出现在任务栏而不是屏幕上？

蜘蛛正在打开屏幕，可能是由于最近对多显示器设置的更改所致。要将蜘蛛移动到活动监视器上，请使用Alt + Tab 选择蜘蛛，然后按住Windows 键并使用箭头键将蜘蛛窗口移动到视图中。

SEO Spider 使用哪些IP 地址和端口？

SEO Spider 从安装它的计算机上运行，因此IP 地址只是该计算机/网络的IP 地址。您可以通过在Google 中输入“IP 地址”来找出问题所在。

用于连接的本地端口将属于临时范围。您连接的端口通常是端口80（默认http 端口）或端口443（默认https 端口）。如果正在抓取的网站或其任何链接指定了不同的端口，则将连接另一个端口

为什么SEO Spider 无法抓取我的网站？

造成这种情况的原因可能有以下几个：

首先要查看的是内部选项卡中的状态代码和状态。该站点应以200 状态代码和OK 状态进行响应。但如果情况并非如此，请阅读我们的指南，了解抓取时的常见HTTP 状态代码、它们的含义以及如何解决任何问题。

该网站已被robots.txt 屏蔽。内部标签中的“状态代码”列将为“0”，URL 的“状态”列将显示“被Robots.txt 阻止”。您可以在“配置Robots.txt 设置”下将SEO Spider 配置为忽略robots.txt。

站点的行为取决于用户代理。尝试更改“配置”-“HTTP 标头”-“用户代理”下的“用户代理”。

该网站需要JavaScript。清除缓存后，尝试在浏览器中禁用JavaScript 的网站。 SEO Spider 默认情况下不执行JavaScript，但在该工具的付费版本中确实具有JavaScript 渲染功能。如果网站是用JavaScript框架构建的，或者有动态内容，请在“配置蜘蛛渲染选项卡JavaScript”下将渲染配置调整为“JavaScript”以对其进行抓取。请记住确保JS 和CSS 文件没有被robots.txt 阻止。请参阅我们有关如何抓取JavaScript 网站的指南。

该网站需要cookie。清除缓存后，我的浏览器可以在禁用cookie的情况下查看网站吗？获得许可的用户可以通过进入“配置”-“Spider”并在“高级”选项卡中勾选“允许cookie”来启用cookie。

“nofollow”属性出现在未抓取的链接上。在“基本”选项卡下的“配置”-“蜘蛛”中，有一个选项可以跟踪“nofollow”链接。

该页面具有页面级“nofollow”属性。可以通过HTTP 标头中的元机器人标签或X-Robots-Tag 进行设置。这些可以在“Nofollow”过滤器的“指令”选项卡中看到。要忽略NoFollow指令，请转到“配置”-“Spider”-并选中“跟随内部‘不跟随’”并再次抓取。

该网站正在使用框架集。 SEO Spider不会抓取框架的src属性。

该网站需要Accept-Language 标头（在Configuration-HTTP 标头中添加一个名为“Accept Language”且值为“en-gb”的标头）。

Content-Type 标头并不表明该页面是HTML。这显示在“内容”列中，并且应该是text/html 或application/xhtml+xml。 JavaScript 渲染模式会额外检查页面内容是否已指定，例如：

为什么SEO 蜘蛛会冻结？

这通常是由于SEO Spider 达到其内存限制。请阅读如何增加内存。

为什么我会收到“连接错误”响应？

如果根本没有收到响应，则表示连接错误或连接超时消息。通常这是由于网络问题或代理设置造成的。请检查您是否可以连接到互联网。如果您更改了SEO Spider 代理设置（在“配置”、“代理”下），请确保这些设置正确（或关闭）。

为什么我会收到“403 Forbidden”错误响应？

当Web 服务器因某种原因拒绝访问SEO Spider 的请求时，会出现403 Forbidden 状态代码。

如果这种情况持续发生，并且您可以在浏览器中看到该网站，则Web 服务器的行为可能取决于用户代理。在高级版本中，尝试调整“配置”-“HTTP 标头”-“用户代理”下的“用户代理”设置。例如，尝试使用机器人（例如“Googlebot Regular”）或浏览器（例如“Chrome”）进行抓取。

如果这种情况在爬网期间间歇性地发生，则可能是服务器因蜘蛛请求页面的速度而不堪重负。在SEO Spider的高级版本中，您可以降低请求速度。如果您使用的是“Lite”版本，您可能会发现右键单击URL 并选择“Re-Spider”会很有帮助。

为什么我在浏览器中遇到不同的响应？

SEO Spider HTTP 请求通常与传统浏览器和其他工具不同，因此有时您会遇到与访问页面或使用其他工具检查响应不同的响应。

SEO Spider只报告服务器发出请求时服务器给出的响应，这是不正确的，但可能与其他地方不同。一些可能导致服务器做出不同响应的常见因素（可在SEO Spider 中配置）是：

用户代理- 默认情况下，SEO Spider 使用自己的用户代理，浏览器也是如此。您可以在“配置HTTP 标头用户代理”下找到用户代理配置。如果您根据浏览器用户代理（Chrome 等）对此进行调整，您可能会遇到不同的响应。

Cookies - 默认情况下，SEO Spider 不接受cookie（类似于Google）。但是，浏览器可以。如果您在浏览器中禁用cookie，您可能会看到页面不再加载、向URL 发出会话ID 或重定向到自身。您可以在“配置蜘蛛高级”下“允许cookies”。

JavaScript - 浏览器将执行JavaScript，SEO Spider 默认情况下不会执行。因此，您可能会遇到页面内容的细微变化，如果网站是使用JavaScript 框架构建的，或者完全重定向到浏览器中的新位置，则差异可能会更大。与Google 类似，SEO Spider 在JavaScript 发挥作用后渲染网页并对其进行爬行。您可以通过导航到“配置蜘蛛渲染”并选择“JavaScript 渲染”来启用此功能。底部的“渲染页面”选项卡将有助于调试SEO Spider 与浏览器相比可以看到的差异。如果您的网站是使用JavaScript 框架构建的，请阅读我们的如何抓取JavaScript 网站指南。

接受语言标头- 您的浏览器将为您所使用的语言提供一个接受语言标头。与Googlebot 类似，SEO Spider 默认情况下不为请求提供Accept-Language 标头。但是，您可以在“配置HTTP 标头接受语言”下调整接受语言配置。

OK，关于Screaming Frog SEO Spider下载 Screaming Frog SEO Spider（v4.33.6）免费版和小编亲测优质的APP的内容到此结束了，希望对大家有所帮助。