Référencement : comment tester un fichier robots txt



Source

Description

Ce tuto montre une astuce permettant de tester n’importe quel fichier robots.txt sans même avoir besoin de le mettre en ligne ! Détails sur http://www.webrankinfo.com/dossiers/gwt/test-fichier-robots-txt

Le saviez-vous ? Google propose un testeur de fichier robots.txt dans son centre Search Console (anciennement appelé Google Webmaster Tools). Il permet de tester des interdictions de crawl (ou autorisations), les fameuses directives Disallow et Allow.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *