Skip to main content

Robots.txt

Un dominio suele contener varios directorios y páginas. Sin embargo, no todas las páginas y directorios deben ser rastreados e indexados por los motores de búsqueda. Con la ayuda de robots.txt, estos contenidos pueden ser excluidos.

YouTube

By loading the video, you agree to YouTube’s privacy policy.
Learn more

Load video

¿Qué es el archivo robots.txt?

El archivo robots.txt es un simple archivo de texto. En este archivo, los webmasters pueden definir qué páginas de un dominio pueden ser rastreadas e indexadas por los rastreadores de los motores de búsqueda como el bot Google y qué páginas deben ser excluidas. Con la ayuda de estos archivos, dominios enteros, páginas individuales o directorios y subdirectorios pueden ser excluidos del rastreo por parte de los robots de los motores de búsqueda.

Creación y contenido del robots.txt

El archivo de texto de los robots puede crearse con cualquier editor de texto y guardarse en formato de texto plano. El archivo de robots contiene dos componentes. En primer lugar, la especificación del agente de usuario al que están destinadas las siguientes instrucciones. A continuación, la instrucción «disallow» y, a continuación, la especificación de las páginas o directorios que deben excluirse del rastreo.

La estructura más simple de un archivo de texto de robots

Agente de usuario: Googlebot
Disallow: /

Este contenido impide que el bot Googlerastree todo el dominio.

Otros rastreadores a los que se pueden dar instrucciones

  • Googleimagen del bot de Google
  • Sorbe de Yahoo
  • Bingbot de Bing
  • Adsbot de Google Ads

El archivo robots.txt debe almacenarse siempre en el directorio raíz del dominio. Este es el único lugar donde los rastreadores buscan este archivo.

Puede encontrar más información sobre este tema aquí:
https://support.google.com/robots.txt
https://support.google.com/google-crawler
https://support.google.com/googlebot-image
https://help.yahoo.com/slurp
https://www.bing.com/toolbox/bingbot


¿Tiene más preguntas?

Por favor, contáctenos


Otros contenidos