Googlebot est l’agent d’exploration de Google. En pratique, divers types de Googlebots se spécialisent dans l’exploration et l’indexation de contenus spécifiques. Googlebot fonctionne comme un programme d’indexation réparti sur de nombreux serveurs dispersés géographiquement pour limiter la consommation de ressources nécessaire à cette tâche. La fréquence à laquelle Googlebot visite les pages d’un site varie en fonction de la nature du site et de sa fréquence de mise à jour. L’illustration de l’activité de crawl des différents Googlebots sur ce site est tirée d’une observation concrète.