Liste et informations sur les robots qui se baladent sur la toile

Quel webmaster n’a jamais eu affaire aux robots. Ne serait-ce que pour des questions de permissions afin de limiter les accès à son site ou pour la configuration de son fichier robots.txt – quoi que, les instructions sont la plupart du temps générales. Robotstxt.org propose une base de données des robots que l’on peut trouver sur la toile. On remarque cependant rapidement que cette liste est incomplète. Il est par exemple possible de relever l’absence d’un certain nombre de robots relativement récents comme Twiceler, celui de Cuil. Un paquet d’information est disponible comme le nom, le statut, la plateforme ou encore le langage. Une belle collection en somme.