Tráfico masivo desde Facebook (ASN 32934) para entrenamiento de IA: impacto en servidores web

En los últimos días, desde el equipo de DEINSER hemos detectado a través de nuestro DEINSER WAF un patrón de tráfico inusual procedente del Meta Platforms (ASN 32934).

Se trata de accesos automatizados realizados por bots utilizados para el entrenamiento y recopilación de datos para modelos de inteligencia artificial, entre ellos:

• meta-webindexer
• meta-externalagent
• facebookexternalhit

Estos agentes están documentados por la propia plataforma de Meta como crawlers utilizados para procesar contenido web y mejorar sus sistemas de indexación o modelos de IA.

https://developers.facebook.com/docs/sharing/webmasters/web-crawlers

Sin embargo, en la práctica estamos observando que su comportamiento puede tener un impacto significativo en el rendimiento de los servidores web.

---

📊 Un ejemplo real detectado por nuestro WAF

En la siguiente captura del panel del WAF se puede observar el patrón de acceso detectado:

• 264 620 peticiones totales
• 192 174 solicitudes bloqueadas
• Menos de 48 horas de actividad
• Media aproximada de 2 peticiones por segundo constantes

Este volumen de tráfico proviene exclusivamente del ASN 32934.

Además, el patrón observado indica un comportamiento típico de scraping agresivo:

1. Los bots comienzan a consultar una URL concreta de forma intensiva.
2. Cuando los limitadores de peticiones del WAF reducen su efectividad, cambian de endpoint o URL objetivo.
3. Esto provoca una caída temporal en el número de bloqueos (porque se trata de nuevas rutas).
4. Tras detectar la nueva URL atacada, el WAF vuelve a bloquear el patrón.

Este comportamiento genera cargas innecesarias en el servidor, que deben ser procesadas incluso cuando la petición termina siendo bloqueada.

---

⚠️ Un problema creciente para muchos administradores web

Este fenómeno no es exclusivo de nuestros clientes.

En múltiples comunidades técnicas y foros de administración de sistemas se están reportando casos similares relacionados con los bots de Meta:

• accesos masivos del user-agent meta-externalagent
• consumo elevado de CPU y base de datos
• scraping agresivo de contenido
• problemas de rendimiento en WordPress y otras plataformas

Algunos ejemplos de estas quejas pueden encontrarse en:

• foros de hosting gestionado
• discusiones técnicas en StackOverflow
• análisis de bots de scraping en plataformas de seguridad web

La principal crítica que muchos administradores están realizando es que Meta no ofrece actualmente mecanismos efectivos de control de frecuencia o límites claros de crawling, lo que puede generar cargas excesivas en servidores que no están dimensionados para ese tipo de acceso.

---

🚫 Decisión tomada: bloqueo del ASN 32934

En el caso analizado, tras aplicar diferentes medidas de mitigación, se ha tomado la decisión de:

bloquear completamente el ASN 32934 en el WAF.

La razón es simple:
cuando un origen genera un volumen de tráfico capaz de afectar al rendimiento del servicio, la prioridad debe ser proteger la disponibilidad del sitio web para los usuarios legítimos.

Es importante recordar que el objetivo de cualquier infraestructura web es servir a sus visitantes reales, no a crawlers que generan miles de peticiones automatizadas.

---

🛡️ Estrategias alternativas si no se desea bloquear

En algunos casos puede ser interesante permitir el acceso a estos bots, por ejemplo si se desea que el contenido sea indexado o analizado por los sistemas de IA.

Si se opta por esta vía, recomendamos aplicar estrategias para minimizar el impacto:

Detectar estos User-Agents y:

1️⃣ Servir páginas totalmente cacheadas

Servir siempre una versión 100 % cacheada del contenido para estas peticiones.

Esto evita:

• consultas a base de datos
• ejecución de código dinámico
• consumo de CPU innecesario

2️⃣ Ignorar parámetros de URL para estas peticiones

Muchos crawlers exploran variaciones de parámetros.

Una estrategia efectiva es:

• ignorar parámetros
• devolver siempre el mismo snapshot cacheado

3️⃣ Rate limiting agresivo

Aplicar límites estrictos de:

• peticiones por segundo
• peticiones por minuto
• peticiones por IP

4️⃣ Edge caching o CDN

Servir el contenido desde cache perimetral para absorber picos de crawling.

---

🔎 La importancia de contar con un WAF inteligente

Este tipo de situaciones pone de manifiesto la importancia de contar con sistemas capaces de:

• detectar patrones anómalos de tráfico
• aplicar limitación automática de peticiones
• bloquear ASN completos si es necesario
• proteger los recursos del servidor

Gracias a nuestro DEINSER WAF es posible identificar rápidamente estos comportamientos y tomar medidas antes de que afecten al rendimiento de la web.

---

✔️ En el ejemplo mostrado, el sistema permitió detectar y mitigar más de 190 000 peticiones potencialmente abusivas en menos de dos días.

Sin estas protecciones, este tráfico podría haber generado:

• degradación del rendimiento
• saturación del servidor
• problemas de disponibilidad para los usuarios legítimos.

---

🛡️ Cómo el WAF de DEINSER ayuda a detectar y frenar estos patrones

Situaciones como esta ponen de manifiesto la importancia de contar con una capa de protección inteligente delante de las aplicaciones web. Nuestro sistema DEINSER WAF está diseñado precisamente para detectar este tipo de comportamientos automatizados que, aunque no siempre son ataques directos, pueden terminar teniendo un impacto equivalente a un ataque de denegación de servicio por saturación de recursos.

La plataforma analiza continuamente patrones de tráfico como:

• picos anómalos de peticiones por segundo
• comportamiento repetitivo de scraping
• rotación de URLs cuando se aplican limitadores
• identificación por User-Agent, ASN o rango de IP
• intentos de evasión de rate limiting

Gracias a este análisis, el WAF puede detectar rápidamente patrones abusivos, aplicar limitación dinámica de peticiones, bloquear IPs individuales o ASN completos y proteger el rendimiento de la infraestructura antes de que el tráfico automatizado termine afectando a los usuarios reales.

Además, la visibilidad que proporciona el panel del WAF permite a los administradores identificar rápidamente qué agentes están generando carga, qué rutas están siendo atacadas y cómo evoluciona el tráfico en tiempo real, facilitando una respuesta rápida ante comportamientos anómalos como los detectados en este caso con los bots de Meta.

En un contexto donde cada vez más plataformas utilizan crawlers masivos para entrenar modelos de inteligencia artificial, disponer de herramientas capaces de analizar, filtrar y controlar este tráfico se está convirtiendo en un elemento clave para mantener la estabilidad de los servicios web.