# https://desclaw.com/robots.txt
#
# 検索インデックスとAIの回答生成には使ってよい。学習データへの取り込みは許諾しない。
# Search indexing and AI answer grounding are allowed. Training is not.
Content-Signal: search=yes, ai-input=yes, ai-train=no

User-agent: *
Allow: /

# 検索エンジン
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# AIアシスタント（検索・回答内での出典つき参照を歓迎する）
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Applebot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Google-Extended は Gemini の回答根拠と学習を分離指定できない。
# AI回答での出典表示を優先して許可する。学習だけが目的のクローラーは下で拒否する。
User-agent: Google-Extended
Allow: /

# 学習用クローラーは拒否する
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Sitemap: https://desclaw.com/sitemap.xml