# Robots.txt : Legiwatch
# Indexation libre pour les moteurs légitimes.

User-agent: *
Allow: /

# /admin (Decap CMS) ne doit jamais être indexé
Disallow: /admin/

# /api/* sont des endpoints (Pages Functions), pas du contenu indexable
Disallow: /api/

# Pagefind : artefacts de recherche client (chunks JSON), pas indexables
Disallow: /pagefind/
Disallow: /search-data.json

# Crawl-delay pour les bots agressifs
User-agent: SemrushBot
Crawl-delay: 5

User-agent: AhrefsBot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 5

# Bots IA : explicitement autorisés à indexer le contenu public.
# Legiwatch souhaite être discoverable par les assistants IA (ChatGPT,
# Claude, Gemini, Perplexity, etc.) car nos prospects (équipes d'affaires
# publiques, journalistes, fédérations) les utilisent au quotidien pour
# leur veille. Pas d'exclusion par défaut, sauf /admin/ et /api/.

User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Claude-Web
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: anthropic-ai
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Perplexity-User
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Google-Extended
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Applebot-Extended
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: meta-externalagent
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: cohere-ai
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Mistralai-User
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: MistralAI-User
Allow: /
Disallow: /admin/
Disallow: /api/

# Bingbot et BingPreview : indexation Bing classique + IndexNow.
# Brave Search hérite en partie de ces signaux et participe à IndexNow.
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: BingPreview
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: AdIdxBot
Allow: /
Disallow: /admin/
Disallow: /api/

# DuckDuckGo : DuckDuckBot pour le moteur, DuckAssistBot pour la couche IA.
User-agent: DuckDuckBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: DuckAssistBot
Allow: /
Disallow: /admin/
Disallow: /api/

# Kagi, You.com, Andi, Bytedance/Doubao, Amazon : autres moteurs avec
# couche LLM montants sur des verticales "expert" comme la nôtre.
User-agent: Kagibot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: YouBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: AndiBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Bytespider
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Amazonbot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Diffbot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: Webzio-Extended
Allow: /
Disallow: /admin/
Disallow: /api/

# Sitemaps
Sitemap: https://www.legiwatch.fr/sitemap-index.xml

# IndexNow : protocole de notification d'URLs à Bing, Brave Search, Yandex,
# Seznam, Naver et DuckDuckGo. La clé est publiée à la racine pour vérification.
# Script de ping : `npm run indexnow` (cf. scripts/indexnow-ping.mjs).
# Key: aa8e696e8cee66fdd4f37fd54aefb831