robots.txt

robots.txt是指存储在网页根目录下的文件。广义上，也指互联网上的机器人协议。

robots协议

机器人协议代表机器人排除协议。这个协议告诉网络爬虫哪些网站可以爬行，哪些爬虫可以爬行这个网站。 robots协议是通过在网站根目录下放置一个robots.txt（全小写）文件来实现的。

robots.txt 语法

robots.txt 文件非常直观，每行一条规则。这里简单介绍一下，只要读者基本能看懂robots.txt即可（其实网上有很多生成robots.txt的工具，即使你想写robots.txt也不需要学习它们全部，只需看看您需要使用什么））。

-User-Agent：允许访问的搜索引擎爬虫的名称，如果有多个部分，就是关于这个爬虫的规则。因此，所有爬虫都可以访问它。

-Disallow：不允许访问的目录名，以/开头，该目录下的所有链接都被阻止。如果是特定网页，则该网页被屏蔽。如果只有一个/，则所有链接都被屏蔽。

- 允许：与禁止规则相反。

-站点地图：爬虫可以爬取的其他无法从网站直接访问的链接和相关信息。

-crawl-delay：抓取延迟，抓取之间等待的秒数。 （好像已经不支持了）

君子协定

可见robots协议只是告诉爬虫哪些网站不能爬行，并没有真正起到阻止爬虫的作用。其实排除爬虫的方法有一些，比如检查UA头、高频访问弹出验证界面、验证码（非机器人验证，谷歌最不喜欢这个）、使用Ajax等.但是这些方法要么阻碍了爬虫的爬行能力，要么甚至妨碍了真正的用户。

为了用户、服务器和搜索爬虫的共同利益，robots协议实际上是服务器和搜索引擎之间遵守的君子协议。因此，很多规则的使用实际上取决于各大搜索引擎（例如Request-rate几乎不被搜索引擎识别），而robots协议的语法也在不断变化。

希望看到这里的读者也能遵守机器人协议，技术应该向上使用。

何时需要robots协议？

显然，需要的时候就用它。当您不希望某些爬虫访问某些页面时，机器人协议会派上用场。比如百度的robots协议其实是禁止360的爬虫的（我大胆推测，因为很多爬虫都写了但360没有写，而百度的robots.txt好像一年前就这样了，360写得很慷慨）。如果你想让爬虫爬取你网站的所有内容，最好不要直接使用robots协议。

查看4399.com的robots.txt

4399的robots.txt文件如下：

用户代理： *Disallow: /upload_pic/Disallow: /upload_swf/Disallow: /360/Disallow: /public/Disallow: /yxbox/Disallow: /360game/Disallow: /baidugame/Disallow: /loadimg/Disallow: /index_pc.ht mDis允许： /flash/32979_pc.htmDisallow: /flash /35538_pc.htmDisallow: /flash/48399_pc.htmDisallow: /flash/seer_pc.htmDisallow: /flash/58739_pc.htmDisallow: /flash/78072_pc.htmDisallow: /flash/130396_pc.htmDisallow 3 3360 /flash/80727_pc.htmDisallow: /flash/151038_pc.htmDisallow: /flash/10379_pc。 htmDisallow: /flash/188528_pc.htmDisallow: /flash/*_pc.htmDisallow: /index_old.htmDisallow: /flash/188420_2.htmDisallow: /flash/188420.htmDisallow: /zzy/188420.htm Disallow: /flash/209902.htm 第一个可以看到4399 line 网站允许所有爬虫。由于我们只爬取首页，所以下面就不用详细看Disallow了，只要不带/即可（其实4399并没有拦截UA头，不知道爬取频率是否有限制，我想不是）。

那么我们就可以开始分析4399的主页了。

设定并分析目标

2020年8月25日4399网站首页如图所示。我们暂时将目标设置为大红圈内的部分来获取文本内容和链接：

F12查看源码，发现这个范围的源码就在上图小方框内，只有一个class是middle_2。我们需要的一切都在叶节点的跨度内。分析这段代码的DOM，绘制如图所示。