# 连云港邦久石化装备有限公司官网 robots.txt
# 站点域名：http://www.bangjiuhuagong.com

# ===== 通用搜索引擎 =====
User-agent: Baiduspider
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: msnbot
Allow: /

# ===== AI 搜索 / 大模型检索爬虫（允许抓取以获得 AI 收录） =====
# OpenAI（ChatGPT / SearchGPT）
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic（Claude）
User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google AI（Gemini / AI Overviews）
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

# Microsoft Copilot（依托 Bing 索引，已在 Bingbot 放开）
User-agent: copilotbot
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# Apple Intelligence / Siri
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Amazon（Alexa / AI）
User-agent: Amazonbot
Allow: /

# 字节跳动（豆包 / 抖音 / 今日头条）
User-agent: Bytespider
Allow: /

# 阿里夸克 / 通义
User-agent: QuarkBot
Allow: /

User-agent: YisouSpider
Allow: /

# 腾讯元宝 / 搜狗 AI
User-agent: Sogou web spider
Allow: /

# 通用爬虫（Common Crawl，多模型训练数据源）
User-agent: CCBot
Allow: /

# 其它 AI 检索爬虫
User-agent: cohere-ai
Allow: /

User-agent: MistralAI-User
Allow: /

# ===== 默认规则：允许全站 =====
User-agent: *
Allow: /

Sitemap: http://www.bangjiuhuagong.com/sitemap.xml