配置爬虫陷阱¶
本文说明如何在 HTTP DDoS 策略组中配置爬虫陷阱。配置并启用后，策略组会按您填写的保护页面和蜜罐路径诱捕访问诱饵的客户端。
诱饵类别、规则 ID 以及启用后对 robots.txt 和页面的影响，见 爬虫陷阱介绍。
警告：启用后会改写
robots.txt，并在保护页面中插入隐藏链接和隐藏字段。请先将拦截状态保持为 仅记录，确认日志没有正常用户和合作爬虫后，再改为 拦截。
前提条件¶
- 域名已开通并启用 HTTP DDoS 防护，且已创建策略组。详见 创建策略组并关联域名。
- 拦截状态准备改为 拦截 时，已有可用的拦截页面。详见 配置 HTTP DDoS 自定义拦截页面。
操作步骤¶
可通过以下任一入口进入目标策略组：
- 防火墙产品管理中心 → 第二层：HTTP DDoS防护 → 单击策略组进入详情。
-
CDN / HTTP DDoS 攻击防护 → 单击目标策略组进入详情。
-
打开 爬虫陷阱 页签。
- 尚未配置时，单击 开始配置。这一次对话框同时包含基础配置和陷阱配置。
- 在基础配置中：
- 拦截状态先选择 仅记录。
- 若选择 拦截，填写拦截处置时间（默认 1 天，最长 30 天），并选择拦截页面。
- 添加保护页面，最多 5 条。每条填写 Host（
*表示不限）、匹配方式（精确匹配、前缀匹配、正则匹配）和路径。 - 在陷阱配置中：
- 选择蜜罐类型：资讯、图库或归档。类型会带入默认蜜罐路径；更换类型会覆盖尚未保存的路径。
- 设置拦截深度，取值 1–8，默认 3。每条蜜罐路径的层数不能低于该值。
- 确认或修改蜜罐路径，最多 5 条。请勿填写源站真实存在的路径。
- 单击保存。
- 如需放行合作爬虫或固定出口，单击白名单的编辑，选择 IP 类型的数据集合，并按需填写 UA 正则（最多 100 条，每行一条）。IP 白名单只匹配 IPv4。数据集合在自定义集合中统一创建和维护。
- 打开 启用爬虫陷阱。
保存并启用后，基础配置、陷阱配置和白名单各自有编辑入口。
验证结果¶
- 打开站点的
/robots.txt，确认原有内容仍在，并多出蜜罐路径的禁止抓取声明。 - 打开一条保护页面，查看源代码，确认出现隐藏链接。
- 拦截状态为 仅记录 时，防护日志有命中记录，保护页面仍能打开。
- 改为 拦截 后，使用同一测试 IP 先打开蜜罐路径，再打开保护页面，应返回 418。
日志规则 ID 与诱饵类别的对照见 爬虫陷阱介绍。直接打开蜜罐路径记为 1000，打开页面中的蜜标链接记为 1003，提交时填写了 fax_number 记为 1002。
常见问题¶
搜索引擎收录下降¶
请检查蜜罐路径是否与真实目录相同。相同则修改蜜罐路径，或关闭爬虫陷阱。收录变化可能滞后，详见 爬虫陷阱介绍。
安全扫描提示暗链¶
保护页面中的隐藏链接由爬虫陷阱插入，不是源站文件被改写。可向扫描方说明来源，或暂时关闭爬虫陷阱。详见 爬虫陷阱介绍。
拦截状态为仅记录，页面和 robots.txt 仍被改写¶
仅记录 只表示不拦截保护页面，仍会改写 robots.txt 并插入隐藏链接。要停止改写，请关闭 启用爬虫陷阱，或将策略组设为 关闭。
公司出口访问保护页面被拦截¶
标记按客户端 IP。同一出口下一人触发后，其他人在处置时间内访问保护页面也会被拦截。请把该出口加入白名单，或先改回 仅记录。
IPv6 地址加入白名单不生效¶
IP 白名单只匹配 IPv4。IPv6 来源请使用 UA 正则，或不要对这些来源使用 拦截。