Etiqueta META robots

Hoy voy a dedicar una pequeña entrada a la etiqueta robots que se puede incluir en los meta tags de una url. Como sabemos en cada una de nuestras páginas ( URLs ) podemos añadir diferentes meta tags que ayudarán a conseguir que los robots de búsqueda nos indexen mejor nuestras páginas.

meta tags

La etiqueta robots nos permite indicarle al robot de búsqueda como queremos que nos indexe y que información de nuestra web,en concreto de la URL que está visitando ( podemos incluir diferentes declaraciones de esta etiqueta para diferentes páginas ) que queremos que muestre en sus resultados. Gracias a la etiqueta robots podemos decirle al robot de búsqueda que es lo que queremos que indexe y si queremos que siga los enlaces que existen en esa página.

La etiqueta se define de la siguiente manera,

<meta name=”robots” content=””>

El atributo content será donde especifiquemos el comportamiento que queremos que tenga el robot y puede tener las siguientes directrices:

  • index || noindex . Especificamos si queremos que indexe o no la URL
  • follow || nofollow . Especificamos si queremos que el robot siga los enlaces que encuentre en la URL o no.
  • archive || noarchive . Especificamos si queremos que el robot de búsqueda guarde o no en su caché el contenido de la URL
  • snippet || nosnippet . Esta directriz especifica si queremos que el robot de búsqueda muestre o no la descripción de de una URL, no es muy útil que digamos. Esta directriz implica automáticamente el uso de la directriz noarchive.
  • odp || noodp . Con esta directriz especificamos si queremos que se muestre, si existe, el título y la descripción que hay en el projecto Open Directory.
  • ydir || noydir. Hace lo mismo que la directriz anterior pero en este caso utilizando los datos del directorio de Yahoo!

Ahora la práctica, veamos algunos ejemplos del uso de la etiqueta robots

  • <META name=”robots” content=”INDEX,FOLLOW”> La más usual, indica que indexe la URL y siga los enlaces que se encuentre, aunque esto lo hacen prácticamente todos los robots de búsqueda por defecto. Por lo que esta etiqueta es mejor usarla para crear restricciones.
  • <META name=”robots” content=”INDEX,NOFOLLOW”> Indica que debe indexar la URL pero no seguir los enlaces que se encuentran en ella.
  • <META name=”robots” content=”NOINDEX,NOFOLLOW”> Indica que no debe indexar ni seguir los enlaces de la URL
  • <META name=”robots” content=”NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET”> La más restrictiva de todas, indica que no debe indexar la URL ni seguir los enlaces que se encuentre, ni guardar copia en caché, no utilizar los datos de OPD y no utilizar ningún tipo de descripción a la hora de mostrar los resultados.

Recordar, que estas restricciones, también se pueden configurar en el archivo robots.txt, del que hablaremos en otro post.

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *