El archivo robots.txt - utilidades

Cuando profundizamos en el mundo del SEO, observamos cómo nos van surgiendo nuevos términos y nuevas utilidades que a primera vista nos cuesta entender. El caso del archivo robots.txt, es muy frecuente, muchas personas saben que es importante y quieren modificarlo para mejorar una cosa más en su estrategia de SEO onsite/onserver.

El robot lo que hace, es indicar a los buscadores que páginas no desea que indexe y por ello es importante en materia de seguridad y de posicionamiento, esto es debido a que descarga de recursos el sistema y hace el servidor algo mas rápido.

El robot txt es un archivo muy útil para SEO, tenlo muy en cuenta.

Su estructura es muy sencilla, se indica un buscador y a continuación, las limitaciones de páginas o directorio, donde no debe revisar ni indexar el contenido. La primera línea del bloque será User-agent: nombre_del_buscador

User-agent: *

El uso de * significa cualquier buscador, es decir, se aplica a todos ellos. Un ejemplo para el caso de una tienda online en la cual queramos, restringir el acceso de los buscadores a elementos privados sería el siguiente:

User-agent: *

Disallow: /temp/

Disallow: /~administrador/

Disallow: /carrito/

Con las líneas anteriores evitamos que el buscador indexe las páginas de los directorios /temp, /~administrador y /carrito.

Para un uso más avanzado de los robots os aconsejo echar primero un vistazo a los recursos para webmasters deGoogle, Webmaster tolos, posee un apartado en el cual podemos generar nuestro propio robot. Lo encontrarás en información del sitio – acceso a rastreadores – generar archivo robot.txt.