搜索引擎蜘蛛

配置场景

也被称为网络爬虫，需要拦截bot，百度引擎，搜狗引擎等，可开启

单击搜索引擎蜘蛛的开关，即可拦截引擎蜘蛛，如图