In­de­xa­ción de contenido web: fu­n­cio­na­mie­n­to y op­ti­mi­za­ción

Google y otros motores de búsqueda indexan el contenido de la web y lo exponen a los usuarios en su interfaz. Para facilitar que tanto máquinas como personas puedan encontrar el contenido, es ab­so­lu­ta­me­n­te necesario que todo aquel que tenga una página web mejore su po­si­cio­na­mie­n­to en bu­s­ca­do­res.

La in­de­xa­ción como concepto ya existía mucho antes que Internet. Se trata de un método de pre­se­n­ta­ción de la in­fo­r­ma­ción que asigna a los do­cu­me­n­tos palabras clave que encajan con su contenido y sirven para en­co­n­trar­los en el índice.

Ámbitos concretos donde se recurre a la in­de­xa­ción son por ejemplo archivos y bi­blio­te­cas: los usuarios o vi­si­ta­n­tes indican una o varias palabras clave (p. ej. el nombre de un autor, una fecha o un título concreto) para buscar in­fo­r­ma­ción relevante para ese tema.

Por tanto, indexar significa indizar y poner a di­s­po­si­ción del lector las opciones de búsqueda de un conjunto de datos indexado. De cierta manera, esto es lo que sucede con Internet.

Los motores de búsqueda como Google siguen un principio similar al del índice de una bi­blio­te­ca. Cuando alguien introduce una palabra clave en la barra de búsqueda, la máquina busca por su propio índice y muestra todo el contenido en­co­n­tra­do de manera je­rá­r­qui­ca.

No obstante, para que haya un índice que consultar, hacen falta he­rra­mie­n­tas de in­de­xa­ción. Los motores de búsqueda sueltan a los llamados crawlers o ra­s­trea­do­res: robots de búsqueda que se mueven por todo Internet ana­li­za­n­do nuevo contenido, le asignan etiquetas con palabras clave y lo añaden al índice del motor de búsqueda co­rre­s­po­n­die­n­te. No solo analizan do­cu­me­n­tos de texto y sus ac­tua­li­za­cio­nes, también imágenes, vídeos y otros formatos de archivo.

Como ac­tua­l­me­n­te hay cada vez más contenido para las mismas palabras clave, los re­su­l­ta­dos de la búsqueda siguen una jerarquía: el ranking. No­r­ma­l­me­n­te, el contenido más relevante para el usuario aparece primero. Google y compañía pueden co­n­si­de­rar relevante un contenido en una búsqueda concreta debido a una multitud de factores SEO del ranking de Google, que pueden ir cambiando co­n­s­ta­n­te­me­n­te. Muchos de estos factores son conocidos pero su peso no siempre está claro y además varía co­n­s­ta­n­te­me­n­te. El objetivo es dar al usuario el mayor valor añadido posible.

Para que un usuario pueda encontrar una página web, primero debe haber sido indexada por el motor de búsqueda. Vista la gran cantidad de contenido web que hay, muchas veces esto no basta. La op­ti­mi­za­ción web es decisiva para que una página no solo acabe en el índice sino que también se sitúe lo más alto posible en las consultas de búsquedas re­le­va­n­tes. ¿Qué implica es­pe­cí­fi­ca­me­n­te esta op­ti­mi­za­ción?

En los primeros tiempos de los motores de búsqueda, un ra­s­trea­dor a veces tardaba varios días o semanas en descubrir e indexar una página nueva. Para acelerar el proceso, hoy día puedes dar de alta una web en los bu­s­ca­do­res, aunque realmente tampoco es necesario, ya que ac­tua­l­me­n­te los robots de búsqueda están en constante mo­vi­mie­n­to y buscan co­n­ti­nua­me­n­te contenido nuevo en poco tiempo y de manera in­de­pe­n­die­n­te.

Aun así, los pro­pie­ta­rios de una web pueden y deben ayudar a los crawlers en la in­de­xa­ción completa de contenido realmente relevante. Por ejemplo, pueden re­gi­s­trar­se en Google Search Console (an­ti­gua­me­n­te Google Webmaster Tools) y crear un sitemap con todas las páginas y su­b­pá­gi­nas de­s­ta­ca­das. Además, el archivo robots.txt es de gran ayuda para el crawler, ya que en él encuentra por ejemplo in­fo­r­ma­ción sobre qué páginas, tipos de archivos y di­re­c­to­rios ha de excluir de la búsqueda y de la in­de­xa­ción (si no, también pueden excluirse páginas in­di­vi­dua­les con la etiqueta noindex).

Por otra parte, hay comandos que se colocan en el en­ca­be­za­do de una página que pueden dar in­fo­r­ma­ción vital al crawler: por ejemplo, qué variante ha de tomarse como original en el caso de que haya du­pli­ca­dos (etiqueta canonical).

Para no acabar en un lugar aleatorio del índice de Google sino en los puestos su­pe­rio­res del ranking, puedes y debes optimizar siempre el contenido real de tu web. En este sentido, un factor im­po­r­ta­n­te es la op­ti­mi­za­ción es­pe­cí­fi­ca de textos con palabras clave. Además, los metadatos (en este caso, el título y la de­s­cri­p­ción que conforman el resultado de búsqueda mostrado) deben crearse siguiendo las es­pe­ci­fi­ca­cio­nes conocidas. Los enlaces internos y externos, la es­tru­c­tu­ra del contenido, el nombre de archivo y demás también pe­r­te­ne­cen a la larga lista de medidas im­po­r­ta­n­tes para el SEO.