¿Qué es el web scraping y para qué sirve?

Web scraping es el acto de interactuar con un sitio web o servicio y recopilar información específica. La herramienta presenta los datos recolectados de la manera más adecuada a la necesidad de quienes lo programaron.

Por ejemplo, si alguien necesita obtener el valor de cotización en dólares diariamente a una hora determinada: para obtener esta información basta con ir a un sitio web oficial que tenga cotizaciones de monedas extranjeras o consultar en algún buscador, como Google. Ahora, si además es necesaria la información de 14 monedas extranjeras más y 9 criptomonedas específicas. El web scraping es útil para optimizar el proceso de búsqueda y, con uno o dos clics, recopilar toda la información posible.

Cualquier usuario puede realizar web scraping porque es un sistema automático que accede a un sitio web para “ver” una información, sin embargo, según ESET hay dos puntos importantes a tener en cuenta:

• Los delincuentes utilizan el web scraping para configurar bases de datos con fines de intercambio/venta: Como toda herramienta, sea digital o no, el destino dado a su uso dependerá única y exclusivamente de quién la esté utilizando. Puede ser útil para ayudar a un banco a obtener información sobre cotizaciones de divisas. Por otro lado, en el caso de un uso malicioso, se puede utilizar para automatizar la recopilación de información de personas, para luego almacenar los datos en un archivo que eventualmente se venderá o intercambiará en foros de la Deep o Dark Web.

“Un caso ejemplo de su utilización sucedió hace algún tiempo cuando una gran tienda hizo una promoción en la que solicitó los datos de registro de sus clientes, pero la página tenía pública la información. Los delincuentes analizaron este sitio y encontraron que también era posible ver esta misma página con los datos de otros clientes, con esta información en la mano fue posible crear un raspador que la recopile y almacene. Varias filtraciones de las que tenemos noticias se llevan a cabo mediante el uso de web scraping, pero el uso también puede ser no malicioso. Para que una colección de información no tenga características maliciosas, es interesante entender cómo darle forma”, menciona Camilo Gutiérrez Amaya, Jefe del Laboratorio de Investigación de ESET Latinoamérica.

• Riesgo DDoS -denegación de servicio- : Las soluciones de web scraping a través de la línea de comandos tienden a obtener información más rápido, pero si no se parametrizan correctamente, pueden generar una cantidad tan grande de solicitudes que pueden interpretarse como un ataque DDoS y haber un bloqueo temporal o permanente de la IP que está escaneando. Dependiendo de los sistemas de protección del sitio, la IP de origen puede colocarse en una lista negra y otros sitios pueden rechazar conexiones de la fuente que inició el web scraping.

Si se desea aventurarse en los estudios sobre raspado de datos, puede ser útil aprender a ajustar el número de peticiones por segundo, cuántos segundos de intervalo habrá entre una petición y otra, si existe la posibilidad de cambiar el cliente web que se enviará en las peticiones y configurar un número máximo de recopilación de información para que, si se alcanza este número, se interrumpa el proceso de scraping.

Debido a que es una herramienta muy específica que tiene su impacto percibido principalmente por los administradores de sitios y servicios accesibles a través de la web, ESET comparte algunos consejos de seguridad que pueden ayudar a lidiar más adecuadamente con el web scraping:

• No te preocupes demasiado por el bloqueo: vale la pena recordar que el scraping es solo un acceso a la información y puede ser improductivo preocuparse por bloquearlo. En cambio, tratar de dirigir los esfuerzos para garantizar el acceso legítimo a la información.

• Asegurarse de que los datos de una persona sean accesibles solo por esa persona: Ajustar la autorización de acceso a la información para evitar que toda la base de datos esté disponible para cualquier usuario que esté autenticado en el sistema.

• Dimensionar adecuadamente los recursos del servidor teniendo en cuenta el exceso de conexiones que pueden ocurrir periódicamente, para evitar cualquier momento de interrupción del servicio.

• Configurar correctamente los bloqueos automáticos: A veces los bloqueos automáticos ocurren cuando las solicitudes llegan a un volumen más alto de lo esperado. Si se quiere limitar más los eventuales raspados aumentar la sensibilidad del sensor, o caso contrario, asegurarse de que los bloqueos no sean permanentes, porque el comportamiento de algunos navegadores y usuarios puede generar solicitudes excesivas y los filtros pueden terminar bloqueando personas o software.