Maison Blanche : Evolution du fichier robots.txt

Dans le même esprit que le billet précédent sur l’évolution du design du site de la Maison Blanche avant et après la prise de pouvoir par Obama, voici le contenu du fichier robots.txt via lequel il est possible de définir des restrictions pour ce qui est du comportement des robots qui vont crawler le web.

Avant :

User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
[…]
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/query.html
Disallow: /expectmore/query.html
Disallow: /results/query.html
Disallow: /help
Disallow: /sitemap.html
Disallow: /privacy.html
Disallow: /accessibility.html

Après :

User-agent: *
Disallow: /includes/

Pas moins de 2377 lignes pour le premier contre 2 lignes pour le second et actuel. Encore une fois, il est à espérer que le travail qu’Obama pourra effectuer en tant que président des Etats-Unis soit aussi efficace.

Baptiste Simon aka TiChou

Ingénieur développeur web dans le secteur du e-commerce et du tourisme mais avant toute chose passionné par internet et ses intarissables ressources.

Les commentaires sont fermés

Partenaires et blog à la une