Le fichier Robots.txt est un fichier texte placé à la racine d’un site web qui contient des directives destinées aux robots d’exploration des moteurs de recherche. Il indique quelles parties du site les robots sont autorisés à explorer ou doivent éviter, permettant ainsi de contrôler l’indexation des pages et de limiter la surcharge du serveur. Ce fichier mentionne souvent l’emplacement du plan du site et d’autres ressources comme le flux RSS. En régulant l’accès des robots, il contribue à optimiser la gestion du référencement et la confidentialité des contenus du site.