Aplicaciones Web

APLICACIONES WEB

• Que son las web crawlers y spiders

• Web crawlers

Un Web crawler, o bot, es un algoritmo usado para analizar el código de un sitio web en busca de informaciones, para después usarlas y generar insights o clasificar los datos encontrados.

Un ejemplo muy clásico de web crawler está en los sitios de búsqueda, como Google, Bing y otros.

Piensa cómo se hace una investigación en esos motores de búsqueda. Para cada expresión buscada, aparece una lista de sitios, blogs y videos de YouTube.

Pero ¿cómo esos buscadores encuentran cada sitio y los clasifican en un orden específico como aparecen en la pantalla? Por medio de web crawlers.

Los principales son:

• Googlebot, el crawler de Google;
• Yahoo!, Sluro, de Yahoo!;
• Msnbot, usado por Microsoft en el buscador Bing.

Sin embargo, hoy en día ese no es el único uso del algoritmo de los web crawlers. Existen herramientas que pueden ser usadas por cualquier persona para analizar su propio sitio en busca de ideas y puntos de mejoría.

Crear un web crawler propio exige conocimiento en programación, pero también hay opciones pagadas y hasta gratuitas de código abierto.

Algunos que puedes usar son:

• Oncrawl, un crawler que realiza auditorias de SEO completas en el sitio;
• Dyno Mapper, enfocado en la creación automática de mapas del sitio;
• Arachnode.net, sistema de código abierto escrito en lenguaje C#;
• Screaming frog, que tiene un paquete de herramientas de SEO completo para mejorar tu sitio después de analizarlo;
• Apifier, perfecto para monitorizar a la competencia y guiar decisiones importantes para el propio sitio.

[pic 1]

• Web spiders

Una araña web (o araña de la web) es un programa que inspecciona las páginas del World Wide Web de forma metódica y automatizada. Uno de los usos más frecuentes que se les da consiste en crear una copia de todas las páginas web visitadas para su procesado posterior por un motor de búsqueda que indexa las páginas proporcionando un sistema de búsquedas rápido. Las arañas web suelen ser bots (el tipo más usado de éstos).

Las arañas web comienzan visitando una lista de URLs, identifica los hiperenlaces en dichas páginas y los añade a la lista de URLs a visitar de manera recurrente de acuerdo a determinado conjunto de reglas. La operación normal es que se le da al programa un grupo de direcciones iniciales, la araña descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas. Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente.

Entre las tareas más comunes de las arañas de la web tenemos:

• Crear el índice de una máquina de búsqueda.
• Analizar los enlaces de un sitio para buscar links rotos.
• Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo.
• Los buscadores más populares de internet hacen uso de esta herramienta para indexar las páginas a sus servidores.

¿Cómo funcionan los rastreadores web?

Internet cambia y se amplía constantemente. Debido a que no es posible saber cuántas páginas web en total hay en Internet, los bots rastreadores web comienzan desde una semilla o una lista de URL conocidas. Primero rastrean las páginas web en esas URL. A medida que rastrean esas páginas web, encontrarán hipervínculos a otras URL y las agregarán a la lista de páginas para rastrear después.

Dada la gran cantidad de páginas web en Internet que podrían indexarse para la búsqueda, este proceso podría continuar casi indefinidamente. Sin embargo, un rastreador web seguirá ciertas políticas que lo hacen más selectivo acerca de qué páginas rastrear, en qué orden hacerlo y con qué frecuencia debe rastrearlas nuevamente para buscar actualizaciones de contenido.

[pic 2]

• Que son los proxies de aplicaciones web

Un proxy, o servidor proxy, en una red informática, es un servidor —programa o dispositivo—, que hace de intermediario en las peticiones de recursos que realiza un cliente (A) a otro servidor (C). Por ejemplo, si una hipotética máquina A solicita un recurso a C, lo hará mediante una petición a B, que a su vez trasladará la petición a C; de esta forma C no sabrá que la petición procedió originalmente de A. Esta situación estratégica de punto intermedio le permite ofrecer diversas funcionalidades: control de acceso, registro del tráfico, restricción a determinados tipos de tráfico, mejora de rendimiento, anonimato de la comunicación, caché web, etc. Dependiendo del contexto, la intermediación que realiza el proxy puede ser considerada por los usuarios, administradores o proveedores como legítima o delictiva y su uso es frecuentemente discutido.

El rol Proxy de aplicación web es un servicio de acceso remoto aparecido con Windows Server 2012 R2. Este rol proporciona la funcionalidad de proxy inverso para las aplicaciones web en el seno de su infraestructura de red y permite a los usuarios acceder a través de una red externa desde cualquier dispositivo. El rol Proxy de aplicación web autentica previamente a los usuarios para acceder a las aplicaciones web utilizando la funcionalidad AD FS.

El rol Proxy de aplicación web permite a las empresas dar acceso a las aplicaciones de la red interna a usuarios remotos. Para ello, es necesario publicar la aplicación, es decir, hacer que esté disponible en la red externa.

[pic 3]

Por último, ten en cuenta que lo único que hace un servidor proxy es esconder tu IP. Esto quiere decir que no suelen eliminar ningún otro tipo de identificador adicional que pueda revelar tu identidad, por lo que aunque tu IP esté oculta, alguien con acceso a tu red y los datos que transmites podría espiar tu tráfico.

Si quieres una seguridad mayor tendrás que ir a por una VPN. Las VPN o redes privadas virtuales se diferencian de los proxys sobre todo en que cifran todo el tráfico que pasa a través de ellas, algo que un proxy no hace. Por lo tanto, al cifrar los datos, aunque tus comunicaciones fuesen interceptadas por una agencia gubernamental u operadora no sería tan fácil obtener tus datos de navegación. Aunque claro, la eficacia de la VPN depende también de cual tengamos.

...