# Corrupted World 腐败世界 - Robots.txt
# 此文件为content.txt内容自动生成，优化搜索引擎抓取规则

# 全局规则 - 允许所有主流搜索引擎抓取主要内容
User-agent: *
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /sitemap.xml
Allow: /manifest.json

# 禁止抓取的目录和文件
Disallow: /admin/
Disallow: /private/
Disallow: /test/
Disallow: /temp/
Disallow: /backup/
Disallow: /logs/
Disallow: /cache/
Disallow: /config/
Disallow: /.git/
Disallow: /node_modules/
Disallow: /vendor/

# 禁止抓取协议和法律页面（避免收录污染）
Disallow: /privacy
Disallow: /terms
Disallow: /disclaimer
Disallow: /age-verification
Disallow: /legal/

# 禁止抓取API接口
Disallow: /api/
Disallow: /ajax/
Disallow: /json/

# 禁止抓取搜索结果页
Disallow: /search*
Disallow: /*?q=*
Disallow: /*?search=*

# 禁止抓取重复内容
Disallow: /*?print=*
Disallow: /*?mobile=*
Disallow: /*?amp=*

# 针对Google的特殊规则
User-agent: Googlebot
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# 针对百度的特殊规则
User-agent: Baiduspider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 2

# 针对必应的特殊规则
User-agent: Bingbot
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# 360搜索引擎
User-agent: 360Spider
Allow: /
Crawl-delay: 3

# 搜狗搜索引擎
User-agent: Sogou web spider
Allow: /
Crawl-delay: 3

# 禁止不良爬虫
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SemrushBot
Disallow: /

# Sitemap位置声明
Sitemap: https://corruptedworld.xyz/sitemap.xml

# 主动推送接口说明
# Google Indexing API: https://developers.google.com/search/apis/indexing-api/v3/quickstart
# 百度主动推送: https://ziyuan.baidu.com/linksubmit/index