Les moteurs de recherche utilisent des robots d’indexation, des programmes informatiques chargés de balayer le web et les sites internet pour enregistrer les pages dans leurs bases de données. Chaque moteur dispose de son propre robot, avec ses propres paramètres de visite (fréquence, profondeur, etc.). Par exemple, Google a son propre robot d’indexation. Ainsi, pour qu’une page puisse apparaître dans les résultats de recherche, elle doit d’abord être visitée et indexée par le robot approprié. Cette première visite peut résulter d’une soumission directe au moteur ou de la découverte de la page par le robot grâce à un lien externe.

Pour être référencée efficacement, une page doit être accessible et bien structurée pour les robots d’indexation. Le fonctionnement de ces robots, également appelés crawlers, est expliqué en détail dans un livre blanc sur le référencement édité par la société Smile.