Source
Description
Ce tuto montre une astuce permettant de tester n’importe quel fichier robots.txt sans même avoir besoin de le mettre en ligne ! Détails sur http://www.webrankinfo.com/dossiers/gwt/test-fichier-robots-txt
Le saviez-vous ? Google propose un testeur de fichier robots.txt dans son centre Search Console (anciennement appelé Google Webmaster Tools). Il permet de tester des interdictions de crawl (ou autorisations), les fameuses directives Disallow et Allow.
Vidéos en relation :
Spiders, Robots, Crawlers : comment ça marche ? (Vidéo SEO Abondance) 
Le Flash Référencement 22 – Comment réagir à une mise à jour d’algorithme Google ? 
Le Flash Référencement 12 – Test de Raven Tools (Review) 
Référencement de site web – Introduction : Google et le référencement 
Comment gérer son référencement Google avec Optimiz.me : la démo ! – version courte