Cómo desindexar y bloquear páginas en Google

Cómo eliminar una URL en Google

  • 0
Desindexar URL Google

Cómo eliminar una URL en Google

Etiquetas :

Aunque no es lo común, hay ocasiones en que, por la razón de que sea, no nos interesa que una URL de nuestro sitio web aparezca indexada en Google. Puede que esa página que queremos eliminar esté atrayendo un tráfico no cualificado y aumentando nuestra tasa de rebote, o puede, sencillamente, que ya no queramos que esa información sea pública. No obstante, los casos más frecuentes que se suelen dar son cuando tenemos una URL a la que no queremos traspasar link juice desde la Home porque tiene thin content (contenido pobre o de escaso o nulo interés para el usuario que no atrae tráfico orgánico, ni leads ni conversiones, como esos post con menos de 300 palabras que Google considera spam) o cuando queremos evitar el contenido duplicado. Como vemos, las razones pueden ser muchas y variadas.

Ante una tesitura como ésta, quizás el primer impulso sea cortar por lo sano; es decir, eliminar dicha página del servidor. Sin embargo, como ahora veremos, hay mejores y más sutiles maneras de hacerlo.

-Cómo averiguar cuántas URLs tiene Google indexadas

Pero antes de analizar y ver en detalle las diferentes maneras que existen de eliminar páginas internas, vamos a ver cómo saber cuántas URLs tiene Google indexadas de nuestro website.

La primera y más sencilla consiste en teclear en el buscador site:www.tudominio.com. De esta manera Google te mostrará todas las URLs que tiene indexadas de tu web (ojo, que si no te aparece ninguna es porque probablemente hayas sufrido una penalización y tu dominio haya sido baneado). Esto es lo que se conoce como footprint, o comandos avanzados de búsqueda. Lo malo de este método es que, cuando nuestro sitio web tiene muchas páginas, no resulta fácil ni práctico hacer una recopilación de todas ellas.

URLs indexadas Google Site

Si queremos ahorrarnos tiempo, una opción mejor y más directa es usar alguna de las herramientas que extraen todas URLs de una web con un solo clic, y luego sólo tenemos que copiarlas y pegarlas en un documento txt o csv. Una de las más profesionales es Screaming Frog, la mejor aplicación para realizar una auditoría SEO On-Page, pero en su versión gratuita sólo nos muestra hasta un máximo de 500 URLs, lo que, dependiendo del tamaño del site, puede quedarse corto (no obstante, con la genial rana aulladora podemos averiguar si tenemos etiquetas duplicadas, redirecciones, errores 404, etc., así que es de uso obligado). Si no podemos permitirnos pagar una licencia, yo recomiendo el extractor de Maine SEO Tools, que te lo hace en un periquete y es gratuito.

En Search Console, antes conocida como Google Webmaster Tools, también podemos saber cuántas URLs tiene indexadas, mirando en Índice de Google>Estado de Indexación, y, al mismo tiempo, en Tráfico de búsqueda>Enlaces internos también podemos extraer todas o casi todas las URLs (basta con que tengan, al menos, un enlace interno, lo cual no parece muy complicado), pero de eso os hablaré más adelante.

-Cómo indexar una URL en Google

Es el caso opuesto al que aquí nos planteamos, pero también es bueno saberlo.

Cómo indexar una URL en Google mediante Search Console

Una vez más, tenemos que ir a nuestro panel de Search Console. Allí, en Rastreo, seleccionar Explorar como Google. Introducimos el slug (la parte final que sigue al dominio raíz y la barra) de la URL que queremos indexar y le damos a Obtener y procesar. Entonces Google comenzará a procesar su estado, y cuando finalice (le suele llevar muy poco tiempo), podremos solicitar su indexación. Así de fácil.

Esto sería más o menos el equivalente de hacerle un ping a Google, pero de forma más sutil y profesional. Por supuesto, hay otras formas de solicitar la indexación de una página, como utilizar el panel submit URL, o incluso difundirla en redes sociales (sobre todo en Google +), pero como digo, Search Console es lo más recomendable.

-¿En qué casos querríamos eliminar una URL?

Como he dicho al principio, pueden darse muchas casuísticas, pero un caso que suele repetirse muy a menudo es cuando tenemos un producto al que cambiamos de nombre y de características. En tal circunstancia, es probable que tengamos una página con su correspondiente ficha de producto, y que esta página esté recibiendo tráfico. ¿Sería conveniente eliminar dicha URL y crear una nueva? Rotundamente no. Si lo hiciéramos, perderíamos esas visitas y provocaríamos un error 404. En tal caso, lo suyo sería redirigir la antigua URL (redirección 301, permanente) hacia la nueva, y así conservaríamos el tráfico de visitas, y de paso también transferiríamos su autoridad.

Así que no siempre que vayamos a deshacernos de una URL conviene desindexarla. Eso hay que tenerlo muy presente.

Básicamente, hay 4 formas para eliminar y desindexar una URL en Google:

1-Meta noindex

Es la opción más fácil de implementar, aunque, probablemente, no la mejor. Lo único que tendríamos que hacer es añadir en el head de la página la etiqueta o metatag <meta name=”robots” content=”noindex”>. Con esto le estaremos dando la orden a los rastreadores de los motores de búsqueda de que no indexen dicha página.

Llegados a este punto conviene aclarar que el meta noindex nada tiene que ver con el nofollow, el cual no sirve para desindexar URLs, sino para ordenar a los spiders que no sigan un enlace y, en consecuencia, corten el flujo de autoridad.

El principal inconveniente de este método es que los resultados pueden tardar un tiempo en verse, o no verse nunca, ya que tenemos que esperar a que los crawlers visiten nuestro sitio web, lleguen hasta la URL de marras y reciban la orden. Por lo tanto, esta opción es más recomendable utilizarla antes de que la URL haya sido ya indexada.

2-Robots.txt

Robots.txt Disallow

El archivo robots.txt está pensado específicamente para orientar a las arañas y darles indicaciones sobre qué URLs, carpetas o directorios queremos que indexen o no. A través del comando Disallow podemos ordenarles que no indexen una URL concreta o una carpeta. Bastaría con escribir esta línea de código:

Disallow: /politica-de-cookies/

(éste es un típico ejemplo de URL que no aporta nada a una web y que conviene no indexar)

Aunque pocos lo hacen, con robots.txt también se pueden bloquear imágenes.

La gran ventaja de utilizar el archivo robots.txt es que optimizamos el crawl budget; esto es, el presupuesto o tiempo que dedican los crawlers (como Googlebot) a rastrear nuestro sitio web. Es, por decirlo de alguna manera, la forma más profesional y aconsejable de hacerlo.

El único inconveniente que plantea este método es que si esa página que queremos eliminar del índice de Google recibe algún link desde otra web, entonces podría no desaparecer.

Si tenéis dudas sobre cómo generar el archivo robots.txt o cómo utilizarlo, os recomiendo que leáis este estupendo artículo de Tomás de Teresa.

3-Search Console

Eliminar URL, Search Console

A veces la mejor opción es utilizar las herramientas que el propio Google pone a nuestra disposición, que para eso están. Si vamos a Search Console>Índice de Google>Eliminación de URL podemos eliminar temporalmente –este matiz es importante– cualquier página de nuestro sitio web de los resultados de búsqueda. Sólo tenemos que pulsar en Ocultar temporalmente e introducir la URL en cuestión, y desaparecerá durante 90 días de las SERPs. También se borrará la copia guardada en la caché de la página. Ahora bien, Google nos advierte de que si queremos eliminarla de forma permanente tendremos que recurrir a alguna de las otras técnicas aquí mencionadas.

Asimismo, dentro del mismo apartado de Search Console, pero en Estado de indexación, si hacemos clic en Avanzada nos mostrará un gráfico con el total de páginas indexadas, bloqueadas por robots y eliminadas, y además podemos actualizar el resultado en cualquier momento.

Estado de indexación

Personalmente, yo recomendaría combinar estas dos acciones: en primer lugar, eliminar la URL con Search Console; y en segundo lugar, bloquearla mediante robots.txt. Después de eso, también la borraría del servidor asegurándome de que devuelve un error 404 (not found).

4-Directorio protegido con contraseña

La he dejado en último lugar por ser muy poco habitual, pero es bueno saber que existe. Otra forma de bloquear una URL es guardarla en un directorio protegido con contraseña en el servidor. Si utilizas Apache, tendrás que editar el archivo .htaccess. Éste sería el método más seguro de todos, ya que, mientras que los anteriores son sólo instrucciones que se dan a los rastreadores, éste los forzaría definitivamente a no indexar la URL. Toda la información necesaria para utilizar este recurso la tenéis aquí.

Valoración
Fecha
Abrelink: Diseño web Bilbao
Cómo eliminar una URL en Google
Estrellas
51star1star1star1star1star
Cómo eliminar una URL en Google
5 (100%) 1 vote

BUSCAR

Suscríbete al Blog

Introduce tu email para estar al tanto de las novedades.

ABRELINK EN TWITTER