Source
Description
Ce tuto montre une astuce permettant de tester n’importe quel fichier robots.txt sans même avoir besoin de le mettre en ligne ! Détails sur http://www.webrankinfo.com/dossiers/gwt/test-fichier-robots-txt
Le saviez-vous ? Google propose un testeur de fichier robots.txt dans son centre Search Console (anciennement appelé Google Webmaster Tools). Il permet de tester des interdictions de crawl (ou autorisations), les fameuses directives Disallow et Allow.