Blog

usa robot.txt para proteger tu blog de contenido duplicado

robot-txt

Se  ha preguntado cuál es el uso del archivo robots.txt en un sitio web? He visto un montón de confusión en relación con el archivo robots.txt y esta confusion a veces crea problemas de SEO en su sitio web. En este artículo, voy a  compartir todo lo que necesitas saber sobre el archivo robots.txt, y también voy a compartir algunos enlaces que te ayudarán a sumergirse profundamente en este topico. si navegas en el foro de Google Webmaster, vera este FAQ:

  • ¿Por qué Google no des-indexa cierta parte de mi blog, donde he añadido el tag noindex?
  • ¿Por qué mi frecuencia de rastreo del blog es lento?
  • ¿Por qué mis enlaces internos no están siendo indexados?
  • ¿Por qué Google indexa mis carpetas de administrador?

Ya se trate de WordPress, Drupal o cualquier otra plataforma, Robots.txt es estándar universal para los sitios web, y reside en la raíz de un dominio. Por ejemplo: domain.com/Robots.txt

Ahora, usted debe estar preguntándose, ¿cuál es el archivo robots.txt, cómo crear uno, y cómo usarlo para la optimización de motores de búsqueda? aquí vamos a aprender sobre el lado de la tecnología de archivo de robots.

¿Cuál es el uso del archivo robots.txt en una página web?

Permítanme empezar desde lo básico, todos los motores de búsqueda tienen los robots para rastrear un sitio web. Rastreo e indexación son dos términos diferentes, y si usted desea conseguir en profundidad sobre el tema, puede leer:  Google rastreo e indexación . Cuando un bot de un motor de búsqueda (Google bot, Bing bot, o rastreadores de terceros), vaya a su sitio después de presentar un sitemapen el panel de google webmaster, estos siguen todos los enlaces en su blog para rastrear e indexar su sitio .

Ahora, estos dos archivos sitemap.xml y robots.txt, reside en la raíz de tu dominio. Como ya he mencionado, los robots siguen las reglas del arhivo robots.txt, para determinar el rastreo de su sitio web. Aquí está el uso del archivo robots.txt:

Cuando un robot de los motores de búsqueda vienen a su blog, estos tienen unos recursos limitados para rastrear su sitio. Si no pueden rastrear todas las páginas de su sitio web con los recursos dados, dejarán de rastrear, y esto va a obstaculizar su indexación. Ahora, al mismo tiempo, hay muchos parte de su sitio web, que no desea que los robots de los motores de búsqueda quiera que rastree. Por ejemplo, la carpeta wp-admin, su tablero de instrumentos de administración o de otras páginas, que no son útiles para los motores de búsqueda. con El uso de robots.txt, usted está dirigiendo los rastreadores de motores de búsqueda (bots), para que no se arrastre áreas de su sitio web que no necesite. Esto no sólo acelerará el rastreo de tu blog, sino que también ayudará en el profundo rastreo de sus páginas interiores.

Uno de los más grandes errores de concepción sobre el archivo robots.txt es que las personas lo utilizan para no-indexacion.  El archivo robots.txt es sólo para dirigir los robots de los motores de búsqueda para indexar su blog completamente o detener el rastreo en ciertas parte de tu blog.

Cómo comprobar su archivo robots.txt?

Como ya he mencionado, el archivo robots.txt reside en la raíz de tu dominio. Puede comprobar el archivo robots.txt escribiendo su  dominio en www.domain.com/robots.txt. En la mayoría de los casos (especialmente en la plataforma WordPress), verá un archivo robots.txt en blanco. También puede consultar su archivo robots.txt yendo a la herramienta para webmasters de Google> rastreo > probador de robots

 

robots.txt

 

 

 

 

Esto este codigo evitará que los robots rastreen su carpeta admin seguido por  trackbacks, comentarios, y páginas . el archivo Robots sólo detiene el rastreo, pero no impide la indexación. Google utiliza tag noindex para no indexar cualquier mensaje o página de tu blog tambien puede utilizar plugin Meta robots o WordPress SEO by Yoast  y añadir noindex en cualquier post o una parte de su blog. Para el SEO efectivo de su dominio, sitio web, blog, le sugiero  colocar como no-index  sus categoría, etiquetas y páginas pero dofollow.

 

Review
Fecha
Articulo
usa robot.txt para proteger tu blog de contenido duplicado
Author Rating
51star1star1star1star1star
También te podría gustar
Como-crear-un blog-wordpres
Como crear un blog Guia Definitiva WordPress
publicidad-en-Internet
La amenaza a la publicidad en Internet: adblockers