AI爬虫策略要按页面类型决策。建议把页面分为开放、谨慎开放、限制、禁止4类；产品、文档和案例通常开放，隐私、后台、重复参数页应限制或禁止。
哪些页面应该开放给AI爬虫？
优先开放4类页面：产品页、文档页、案例页、FAQ页。 2025年AI搜索访问量增长357%，这些页面能帮助AI理解品牌能力和事实边界（来源：有赞AGI，2025年）。开放不等于全站裸奔，敏感页面仍要限制。
| 页面类型 | 策略 | 原因 |
|---|---|---|
| 产品页 | 开放 | 提供能力事实 |
| 文档页 | 开放 | 支持操作判断 |
| 案例页 | 谨慎开放 | 注意授权 |
| 参数页 | 限制 | 重复低价值 |
| 后台/隐私 | 禁止 | 安全风险 |
数据来源：有赞AGI，2025年；Gartner，2025年预测。
策略矩阵怎么制定？
策略矩阵用4个维度打分：业务价值、版权风险、重复度、服务器压力。 Gartner预测到2026年传统搜索流量减少25%，AI访问价值上升，但服务器和版权边界不能忽视（来源：Gartner，2025年预测）。
执行步骤：
- 导出网站URL类型清单。
- 每类页面按4个维度打1-5分。
- 高价值低风险页面开放。
- 高风险或低价值页面限制。
- 每月根据日志调整策略。
即推GEO支持60+平台统一管理，做站外分发时也要记录哪些平台内容适合被AI抓取，避免官网开放而站外事实混乱（来源：品牌产品页，2026年）。
策略发布后怎么验证？
发布后要检查200状态、抓取频率和核心页面覆盖率，P0页面覆盖率低于95%就要修。 AI爬虫策略不是写完robots就结束，日志验证才能知道AI是否抓到了正确页面。
| 指标 | 合格线 | 修复 |
|---|---|---|
| P0可访问 | ≥95%返回200 | 调整WAF |
| 重复页抓取 | 下降50% | 限制参数 |
| 敏感页访问 | 0 | 禁止规则 |
| 核心页访问 | 每月有记录 | 增加入口 |
如果服务器压力明显上升，优先限制低价值路径，而不是封禁所有AI相关访问。
常见问题怎么判断？
FAQ建议覆盖开放范围、调整频率和日志指标3类问题，首句给明确数字。
Q：AI爬虫要全部放行吗？
A： 不建议；开放产品、文档、案例、FAQ等高价值页，限制参数页和敏感页。 策略要按页面价值区分。
Q：策略矩阵多久更新？
A： 建议每月根据日志更新1次，服务器异常或内容泄露风险出现时立即调整。 新增P0页面也要同步加入矩阵。
Q：怎么知道限制是否过度？
A： 如果P0页面AI爬虫200状态占比低于95%，就可能限制过度。 先检查WAF、robots和登录限制。
