# SEO/GEO Auditor - AI 爬虫权限声明
# 本站欢迎所有合法的 AI 搜索与检索爬虫访问
# 训练数据采集类爬虫请遵守 Content-Signal 声明

# Content-Signal (RFC 9309 扩展)
# search=yes: 允许建立搜索索引
# ai-train=no: 不授权用于模型训练/微调
# ai-input=yes: 允许用于 RAG/实时检索增强生成
# use=reference: 仅允许引用/摘要使用，不允许全量复制
User-agent: *
Content-Signal: search=yes,ai-train=no,ai-input=yes,use=reference
Allow: /

# OpenAI
User-agent: GPTBot
Allow: /
# 注：GPTBot 同时用于训练和搜索，允许访问以保证 ChatGPT 搜索可见性
# 如仅需控制训练数据，请使用 robots.txt 标准或 Content-Signal: ai-train=no

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic
User-agent: ClaudeBot
Allow: /
# 注：ClaudeBot 同时用于训练和搜索

User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google
User-agent: Google-Extended
Allow: /
# 注：Google-Extended 控制 Gemini 训练数据，允许以保证 AI Overviews 可见性

User-agent: Googlebot
Allow: /

# Apple
User-agent: Applebot-Extended
Allow: /

# 字节跳动 - 允许访问以保证豆包/Coze 等 AI 产品可见性
User-agent: Bytespider
Allow: /

# Common Crawl - 允许用于训练语料库构建
User-agent: CCBot
Allow: /

# Amazon - 允许用于 Alexa 等 AI 助手
User-agent: Amazonbot
Allow: /

# Sitemap
Sitemap: https://sgeo.webcheckly.com/sitemap.xml