Liste et informations sur les robots qui se baladent sur la toile

Quel webmaster n’a jamais eu affaire aux robots. Ne serait-ce que pour des questions de permissions afin de limiter les accès à son site ou pour la configuration de son fichier robots.txt – quoi que, les instructions sont la plupart du temps générales. Robotstxt.org propose une base de données des robots que l’on peut trouver sur la toile. On remarque cependant rapidement que cette liste est incomplète. Il est par exemple possible de relever l’absence d’un certain nombre de robots relativement récents comme Twiceler, celui de Cuil. Un paquet d’information est disponible comme le nom, le statut, la plateforme ou encore le langage. Une belle collection en somme.

Baptiste Simon aka TiChou

Ingénieur développeur web dans le secteur du e-commerce et du tourisme mais avant toute chose passionné par internet et ses intarissables ressources.

Les commentaires sont fermés

Partenaires et blog à la une