Cómo evitar que una web indexe en Google

Posted on - Last Modified on

Habitualmente nos interesa que todas las páginas que componen nuestra web se indexen en Google. Pero hay un momento en el que nos interesa que los buscadores no puedan acceder a rastrear el contenido que hay en nuestra web: el periodo de tiempo en el que estamos desarrollando la página. Hay varias formas de hacer que las arañas de los motores de búsqueda no rastreen nuestra página web. La primera es a través del archivo robots.txt. Para ello editaremos este fichero, situado en el directorio raíz de nuestro servidor (si no existe tendremos que crearlo) y colocaremos dos líneas en él: User-agent:* Disallow: / Con la primera línea indicamos que nos referimos a todos los buscadores. Si sólo quisiéramos actuar sobre un buscador, en vez del * podríamos el nombre del buscador (por ejemplo Google). Con la segunda línea lo que hacemos es decir al buscador o buscadores que hayamos configurado que no indexen ninguno de los contenidos de nuestra web. Otra opción es colocar en la cabecera de la página la metaetiqueta “noindex”. De esta manera estamos diciendo a los buscadores que no incluya la página en sus resultados de búsqueda. Asociada a la metaetiqueta “noindex” se suele usar otra metaetiqueta, “nofollow”, que lo que hace es decir a los buscadores que no rastreen en ese momento los enlaces salientes de esa página. Si utilizamos algún CMS para crear nuestra página web o tienda online (los más conocidos son WordPress, Joomla, Drupal, Prestashop y Magento), podemos poner la página web en modo mantenimiento, permitiendo el acceso sólo a determinadas personas, habilitando para ello su dirección IP en los diferentes paneles de mantenimiento. Con esto los robots de los buscadores no podrán acceder a la página, por lo que no rastrearán el contenido que hay en ella. Con esta opción puede que los buscadores indexen la página sin contenido (por ejemplo si alguien coloca enlaces hacia ella), por lo que es conveniente reforzar el aviso que queremos dar a los buscadores con alguna de las otras dos opciones. Si encontramos alguna imagen de nuestra página en los resultados de búsqueda de imágenes de un buscador como Google, podemos colocar en la cabecera de la página la metaetiqueta “noimageindex”, para indicar así a ese buscador que no queremos aún que indexe las imágenes de nuestra página web. Para finalizar queremos tratar un aspecto importante: en el momento que terminemos la página web y queramos mostrarla al público también tenemos que eliminar cualquier elemento que impida a los buscadores acceder a nuestra web, ya que a partir de entonces querremos que la indexe y nuestro deseo será que se posicione lo más arriba posible para conseguir atraer visitas a nuestra web.

Next Article

Los 10 mandamientos del buen freelance