X-robots-tag
La balise X-robots-tag est une instruction au niveau HTTP qui permet de communiquer aux robots d’exploration des moteurs de recherche la manière dont ils doivent gérer l’indexation des fichiers autres que le HTML, comme les images et les PDF. Parmi les directives principales de la balise X-robots-tag figurent :
– noindex : Cette directive informe les moteurs de recherche de ne pas indexer la page, la rendant ainsi invisible dans les résultats de recherche. Elle est particulièrement utile pour les pages sensibles telles que les pages de connexion ou tout contenu que l’on souhaite garder privé.
– nofollow : En utilisant cette directive, on demande aux moteurs de recherche de ne pas suivre les liens présents sur la page, préservant ainsi le « linkjuice ».
– noarchive : En empêchant la mise en cache de la page par les moteurs de recherche, cette directive garantit que les versions archivées de la page ne seront pas accessibles.
– nosnippet : Cette instruction bloque l’affichage d’un extrait de la page dans les résultats de recherche, empêchant ainsi la création de résumés.
– max-snippet:[nombre] : En spécifiant une limite de caractères, cette directive contrôle la longueur maximale de l’extrait de la page affiché dans les résultats de recherche.
– unavailable_after:[date] : En définissant une date spécifique, cette directive informe les moteurs de recherche de cesser d’indexer la page après cette échéance, ce qui peut être utile pour le contenu saisonnier ou périmé.
Pour mettre en œuvre la balise X-robots-tag sur un serveur web Apache, il est recommandé d’ajouter une directive au fichier .htaccess ou au fichier httpd.config du site, tel que :
Header set X-Robots-Tag « noindex, follow »
Sur un serveur Nginx, il suffit d’ajouter le code suivant au fichier .conf du site :
location ~* .pdf$ {
add_header X-Robots-Tag « noindex, follow »;
}
Il est essentiel d’utiliser les directives X-robots-tag avec discernement. Il convient de vérifier leur application correcte à l’aide