Référencement Google : Optimiser le crawl via le fichier robots.txt

Est-il bénéfique de momentanément modifier le fichier robots.txt afin de bloquer l’accès aux pages d’un site (aux bots) à l’exception d’une partie précise dans le but de s’assurer que cette dernière soit bien crawlée, avant de remettre en ligne le robots.txt original ?

La réponse de Matt Cutts est on ne peut plus claire à ce sujet : une telle action n’aurait selon lui aucun effet et pourrait d’ailleurs même avoir de fâcheuses conséquences.

Celui-ci conseille plutôt de créer des liens vers les pages visées depuis la racine du site à travers par exemple un encart « A la une en ce moment » afin de transmettre davantage de PageRank et ainsi favoriser le crawl desdites pages par les robots de Google.

Baptiste Simon aka TiChou

Ingénieur développeur web dans le secteur du e-commerce et du tourisme mais avant toute chose passionné par internet et ses intarissables ressources.

3 commentaires, pings et rétroliens

Partenaires et blog à la une