# robots.txt pour INSEED
# Ce fichier indique aux moteurs de recherche comment explorer le site

# Autoriser tous les robots d'exploration
User-agent: *
Allow: /

# Interdire l'accès aux dossiers privés uniquement
Disallow: /dashboard/
Disallow: /admin/
Disallow: /login

# Permettre l'exploration de toutes les pages publiques
Allow: /actualites
Allow: /actualites/*
Allow: /annonces
Allow: /infos/*
Allow: /publications
Allow: /publications/*
Allow: /statistiques/*
Allow: /rgph/
Allow: /about/*
Allow: /tools/

# Sitemap
Sitemap: https://inseed.ssn-tchad.td/api/sitemap.xml

# Délai entre les requêtes (en secondes)
Crawl-delay: 1

# Robots spécifiques
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /