Generateur robots.txt - Creez votre fichier robots

Configuration

User-Agent

Tous les robots (*) Googlebot Bingbot

Chemins a bloquer (Disallow) Un chemin par ligne

Presets rapides

Chemins a autoriser (Allow) Un chemin par ligne

URL du Sitemap

Crawl-delay (secondes)

Resultat

# Configurez les options
# puis cliquez sur Generer

A propos du robots.txt

Le fichier robots.txt indique aux moteurs de recherche quelles pages peuvent etre explorees. Placez-le a la racine de votre site (exemple.com/robots.txt).