¿Qué es la deep web?

No todo el contenido que existe en los sitios web y en las tiendas online está li­bre­me­n­te di­s­po­ni­ble para todos los usuarios y motores de búsqueda. Este contenido de acceso re­s­tri­n­gi­do se resume con el término “deep web”. Las razones de las re­s­tri­c­cio­nes de acceso pueden ser múltiples.

La mayoría de la gente pro­ba­ble­me­n­te no esté muy fa­mi­lia­ri­za­da con el término “deep web”, pero es el término genérico para todo tipo de datos a los que no se puede acceder si­m­ple­me­n­te uti­li­za­n­do un motor de búsqueda o in­tro­du­cie­n­do una URL.

Se trata de una gran parte de los datos y páginas que están a tu di­s­po­si­ción en internet: por ejemplo, bases de datos de empresas, uni­ve­r­si­da­des y museos que solo pueden visitarse iniciando sesión, cuentas bancarias, cestas de la compra, cuentas de usuario de tiendas online y mucho más. En sentido estricto, la deep web también incluye la dark web, aunque estos dos tipos de co­n­te­ni­dos se di­fe­re­n­cian muy cla­ra­me­n­te.

Como ya hemos descrito an­te­rio­r­me­n­te, una po­si­bi­li­dad por la que los crawlers del motor de búsqueda no en­cue­n­tran ni indexan los co­n­te­ni­dos es la re­s­tri­c­ción de acceso mediante un inicio de sesión o la solicitud de una co­n­tra­se­ña. El co­n­se­n­ti­mie­n­to a unas co­n­di­cio­nes de uso o una barrera de pago también pueden ser ob­s­tácu­los en este contexto. En todos estos casos, tú como usuario solo puedes acceder a la URL si pre­via­me­n­te has in­tro­du­ci­do una co­n­tra­se­ña o has aceptado el pago.

Pero todavía hay otro caso más en la deep web. En este sentido, puedes acceder a la página si conoces la URL, pero el crawler de un motor de búsqueda sigue sin en­co­n­trar­la ni indexarla. Hay varias causas:

Por un lado, los we­b­ma­s­te­rs pueden excluir es­pe­cí­fi­ca­me­n­te el contenido de la in­de­xa­ción uti­li­za­n­do el comando Nofollow. Por otro lado, existe la po­si­bi­li­dad de que una página esté oculta dentro de un sitio web de tal manera que el crawler no pueda en­co­n­trar­la. Para cada sitio web, el crawler solo dispone de un de­te­r­mi­na­do “pre­su­pue­s­to de páginas”; una vez que se agota, si todavía quedan páginas de un nivel inferior, estas no se tienen en cuenta. Una tercera po­si­bi­li­dad es la falta de re­qui­si­tos técnicos para la in­de­xa­ción, por ejemplo, si se utiliza Flash.

En principio, el contenido de la deep web no implica ningún problema para ti ni para los vi­si­ta­n­tes de tu sitio web. Todo lo contrario: este tipo de páginas se en­cue­n­tran en casi todos los sitios web im­po­r­ta­n­tes o en las tiendas online y los usuarios se enfrentan a los inicios de sesión con total na­tu­ra­li­dad.

Sin embargo, donde sí influye la falta de in­de­xa­ción por parte de Google es en el tema de la op­ti­mi­za­ción de motores de búsqueda.

Es­pe­cia­l­me­n­te cuando se trata de temas cie­n­tí­fi­cos o médicos, muchos co­n­te­ni­dos re­le­va­n­tes suelen estar pro­te­gi­dos con una re­s­tri­c­ción de acceso. Sin embargo, el objetivo debe ser hacer que la mayor cantidad de contenido posible sea de libre acceso e indexable (en la medida en que las leyes y la política de la empresa lo permitan), o al menos diseñar landing pages que permitan al motor de búsqueda hacerse una idea de lo que (todavía) queda por descubrir en tu sitio web.