Référencement Google : Optimiser le crawl via le fichier robots.txt

Est-il bénéfique de momentanément modifier le fichier robots.txt afin de bloquer l’accès aux pages d’un site (aux bots) à l’exception d’une partie précise dans le but de s’assurer que cette dernière soit bien crawlée, avant de remettre en ligne le robots.txt original ?

La réponse de Matt Cutts est on ne peut plus claire à ce sujet : une telle action n’aurait selon lui aucun effet et pourrait d’ailleurs même avoir de fâcheuses conséquences.

Celui-ci conseille plutôt de créer des liens vers les pages visées depuis la racine du site à travers par exemple un encart « A la une en ce moment » afin de transmettre davantage de PageRank et ainsi favoriser le crawl desdites pages par les robots de Google.