爬虫陷阱介绍¶

爬虫陷阱向站点投放正常浏览看不到的诱饵。访问诱饵的客户端会被标记，访问诱饵本身不拦截。已被标记的客户端再访问保护页面时，才按拦截状态处置。

陷阱类别¶

控制台的 蜜罐类型 只有资讯、图库、归档，用来带入默认蜜罐路径，与本节的诱饵类别不是一回事。

启用爬虫陷阱后，下列诱饵同时生效，不能单独关闭某一种。命中后，控制台的「诱饵类型占比」和防护日志用规则 ID 区分类别。

规则 ID	名称	说明
`1000`	爬虫陷阱（蜜罐）	爬虫直接打开了蜜罐路径，或按 `robots.txt` 里新增的禁止路径来抓。
`1001`	页面隐藏链接	爬虫打开了页面里插入的隐藏链接。
`1002`	表单蜜罐字段	爬虫提交保护页面时填了隐藏字段 `fax_number`。
`1003`	蜜标 URL	爬虫打开了页面里插入的蜜标链接。启用后，隐藏链接通常记在这一档。
`1004`	条件可见诱饵	爬虫打开了另一类插入页面、正常浏览看不到的链接。

说明：判断是哪一种陷阱，请看规则 ID。访问诱饵本身不拦截，页面不存在时仍是源站返回的状态码，通常为 404。已被标记的客户端再访问保护页面，且拦截状态为拦截时，HTTP 状态码都是 418。418 不表示某一种陷阱。

源站文件不改。拦截状态为 仅记录 时，上述改动仍然生效，只是不拦截保护页面。

警告：启用爬虫陷阱会改写对外可见的 robots.txt，并在保护页面中插入隐藏链接和隐藏字段。请先将拦截状态设为 仅记录，查看日志，确认没有误伤正常用户和合作爬虫后，再改为拦截。

禁止路径会公开出现在 robots.txt 中，原有声明保留。蜜罐路径若和真实目录相同，遵守协议的搜索引擎可能不再抓取这些地址，影响收录。搜索引擎自己有缓存，保存配置后收录不会立刻变化。

不遵守 robots.txt 的监测工具、合作爬虫和站长工具也会被标记。请先把这些来源加入白名单。

打开保护页面时，可在源代码中看到隐藏链接和隐藏字段。SEO 检查、暗链扫描可能告警，搜索引擎也可能把它当成垃圾链接。

隐藏字段不要和业务表单重名。浏览器自动填充若写入 fax_number，正常访客也会被标记。

标记按客户端 IP。同一公司或运营商出口下，一人触发后，其他人在处置时间内访问保护页面也会被拦截。请把这类出口加入白名单，或先使用 仅记录。