Deep Web

El estudio realizado en el año 2000 por Michael K. Bergman13 arroja una serie de datos que

nos pueden dar una idea del tamaño de la parte invisible de la red.

- La "Internet visible" contiene cerca de 550 billones de documentos individuales,

frente al billón de páginas web de la superficie. Esto supone que más de 200.000

sitios son web profunda.

- Según parece, de media, los sitios de la Internet profunda o invisible reciben un

50% más de tráfico mensual que las webs "visibles" o superficiales. La razón

podría ser, según este estudio, que la calidad de los contenidos "profundos" es

1000-2000 veces mayor que los de la superficie, probablemente debido a la

exhaustividad de estos “webs profundos”. La siguiente tabla muestra estos datos:

¿Qué hay en la Deep Web?

Una vez definidas la Surface Web y la Deep Web (ordinariamente resumibles como indexadas y no indexadas), surge la pregunta sobre qué es lo que hay en todo esto que no vemos. ¿Qué nos estamos perdiendo? Para comprender lo que queda en el fondo, lo mejor es imaginarnos que sólo en el 2001 (donde los sitios personales como blogs y similares no habían explotado del todo) la información que se podía encontrar en la Deep Web era 500 veces mayor que en la superficial, teniendo la primera unos 91.000 Terabytes contra 197. Extrapolando los números de una manera más artesanal (no hay datos actuales al respecto, mismo por las propiedades de la Web Profunda), el crecimiento ha sido sin lugar a dudas inmenso, aunque hay que reconocer que en 10 años los sistemas de rastreo y la educación al respecto evolucionaron mucho y gigas y gigas de información de la Red profunda ahora son visibles.

En cuanto a contenido, la Deep Web está compuesta por todo tipo de información, que al ser tanta y tan variada, la categorización se vuelve obligatoria. Es así que entre lo que no se ve en la superficial, tendremos archivos que no tengan formatos del tipo HTML o de texto (principal fracaso de los sitios web completos en Flash) y también algunos documentos multimedia que no se indexan. Como mencionamos antes, el contenido dinámico será abundante, así como los sitios privados o personales. También se accederá a la llamada web contextual que varía según quién o desde donde se la visite y no hay que olvidar el contenido limitado a través de técnicas, etc.

El siguiente vídeo esta en ingles lo incluí porque me parece que explica de forma practica y clara el tema, ademas

...