Skip to main content

Robots.txt

Un domaine contient généralement plusieurs répertoires et pages. Cependant, toutes les pages et tous les répertoires ne doivent pas être explorés et indexés par les moteurs de recherche. Avec l’aide de robots.txt, ces contenus peuvent être exclus.

YouTube

By loading the video, you agree to YouTube’s privacy policy.
Learn more

Load video

Qu’est-ce que le fichier robots.txt ?

Le fichier robots.txt est un simple fichier texte. Dans ce fichier, les webmestres peuvent définir quelles pages d’un domaine peuvent être explorées et indexées par les robots d’exploration des moteurs de recherche tels que le robot Google et quelles pages doivent être exclues. Grâce à ces fichiers, des domaines entiers, des pages individuelles ou des répertoires et sous-répertoires peuvent être exclus de l’exploration par les robots des moteurs de recherche.

Création et contenu du fichier robots.txt

Le fichier texte des robots peut être créé avec n’importe quel éditeur de texte et enregistré au format texte brut. Le fichier des robots contient deux éléments. Tout d’abord, la spécification de l’agent utilisateur auquel les instructions suivantes sont destinées. Cette instruction est suivie de l’instruction « disallow », puis de la spécification des pages ou des répertoires qui doivent être exclus du crawling.

La structure la plus simple d'un fichier texte de robots

Agent utilisateur : Googlebot
Disallow : /

Ce contenu interdit au robot Googlede parcourir l’ensemble du domaine.

Autres crawlers auxquels des instructions peuvent être données

  • Googleimage bot de Google
  • Slurp de Yahoo
  • Bingbot de Bing
  • Adsbot de Google Ads

Le fichier robots.txt doit toujours être stocké dans le répertoire racine du domaine. C’est le seul endroit où les crawlers recherchent ce fichier.

Vous pouvez trouver plus d’informations sur ce sujet ici :
https://support.google.com/robots.txt
https://support.google.com/google-crawler
https://support.google.com/googlebot-image
https://help.yahoo.com/slurp
https://www.bing.com/toolbox/bingbot


Vous avez d'autres questions ?

Veuillez nous contacter


Autres contenus