Cuando la IA se convierte en el atacante

En pocas semanas, dos de los principales proveedores de IA han tenido que admitir que sus propios modelos lograron penetrar en sistemas reales. En el caso de OpenAI y Hugging Face, una combinación de modelos de IA encadenó vulnerabilidades de forma autónoma, aprovechó una brecha zero-day desconocida y, sin ningún acceso al código fuente, llegó hasta la ejecución de código ajeno en la infraestructura de producción de Hugging Face. Poco después, Anthropic informó de un caso similar: durante unas pruebas, tres modelos Claude accedieron sin estar previsto a los sistemas de tres empresas reales, después de que un error de configuración conectara a internet el entorno de pruebas aislado. Solo se detectó al analizar a posteriori más de 141.000 ejecuciones. En un caso, un modelo llegó incluso a escribir malware y a publicarlo abiertamente.

Para quienes trabajamos en seguridad ofensiva no es una sorpresa, sino una confirmación. Ahora, simplemente, está documentado y es real, y no es en absoluto un problema de un único proveedor, sino la nueva normalidad.

Nada nuevo, solo mucho más rápido

Los patrones de ataque no son nuevos. Lo nuevo es la velocidad. La IA cambia la economía del ataque: lo que antes requería conocimientos especializados y semanas, hoy se automatiza en minutos, y de una forma tan accesible para principiantes que ya no hacen falta grandes habilidades. De ahí surge una asimetría peligrosa. Con IA, los atacantes encuentran vulnerabilidades a una velocidad vertiginosa, incluidos zero-days sin parche. Según la BSI (la Oficina Federal alemana de Seguridad de la Información), transcurren de media 73 días hasta que existe siquiera un parche: quien aplica parches cada 14 días es estructuralmente demasiado lento. Y al atacante le basta con una puerta abierta; automatiza decenas de miles de intentos por hora.

El problema suele ser más profundo: a muchas organizaciones les faltan los fundamentos, es decir, una visión clara de sus propias aplicaciones y procesos. Me gusta comparar la seguridad con una casa: de nada sirve la mejor puerta de entrada si la puerta trasera está abierta o la llave está debajo del felpudo. La seguridad solo funciona de forma integral: la cadena es tan fuerte como su eslabón más débil.

Soberanía significa tener capacidad de actuar

En el debate sobre la soberanía digital se habla a menudo de la ubicación de los servidores. Pero lo esencial es otra cosa: tener capacidad de actuar, y eso solo se logra estando preparado. Empieza con dos pasos. Primero, transparencia: ¿dónde estoy y cuáles son mis mayores brechas? Segundo, priorización: como los recursos son limitados, me concentro en lo crítico, en los puntos exactos donde un atacante podría explotar un encadenamiento de vulnerabilidades. La buena noticia: la IA también ayuda al defensor a encontrar antes esos puntos críticos.

AttackAI: jugar con las mismas cartas

Precisamente aquí entra AttackAI. Si los atacantes usan la IA como arma, nosotros debemos aprovechar la misma eficiencia en nuestros propios ataques. Hemos equipado a nuestro Red Team para lanzar, con modelos de IA, ataques dirigidos contra sistemas, infraestructuras y centros de datos, con las mismas cartas que los atacantes, o incluso mejores en algunos casos. Eso todavía no crea seguridad, pero sí una instantánea honesta: ¿dónde hay puertas y ventanas abiertas? De ahí surge una guía para la defensa.

Como desarrollador de software de formación, sé que las vulnerabilidades suelen originarse directamente en el código fuente. Por eso nuestro enfoque preferido es la prueba de caja blanca, con análisis del código fuente. El incidente de Hugging Face es muy ilustrativo: los modelos llegaron a ejecutar código incluso sin acceso al código fuente. Si un atacante lo consigue desde fuera, ¿cuánto más a fondo podemos trabajar nosotros si miramos primero, de forma deliberada, nuestro propio código?

El control marca la diferencia

Y sí: lo que salió mal en esas evaluaciones es, en esencia, nuestro propio oficio. Precisamente por eso nos tomamos este riesgo muy en serio. La diferencia entre una prueba descontrolada y una seguridad ofensiva responsable no está en la herramienta, sino en el control sobre ella.

Lo que ocurrió allí (que una IA rebase sus límites, afecte a sistemas reales ajenos o ponga malware en circulación) queda excluido en un servicio de AttackAI por nuestra forma de proceder. Atacamos exclusivamente sistemas de clientes autorizados por contrato y claramente delimitados; no existe un objetivo ficticio que se vuelva real por accidente. El ser humano dirige, los agentes ejecutan: supervisamos los ataques en lugar de dejarlos correr sin vigilancia. Trabajamos en un entorno altamente regulado y los resultados permanecen en un informe controlado. Y en cuanto a la protección de datos, especialmente en infraestructuras críticas (KRITIS) y sanidad: a un atacante real eso no le importa, a nosotros sí; la información confidencial nunca sale de la propia red y se aloja en hardware especialmente protegido.

Actuar ahora, pero hacerlo bien

Con la IA hemos entrado en una nueva generación de la ciberseguridad. Los ataques aumentarán de forma masiva, más accesibles para principiantes y, a la vez, más eficientes que nunca. No es un tema ante el que esconder la cabeza, sino para actuar ahora, mientras aún podemos anticiparnos y no solo reaccionar. Eso sí: AttackAI es una primera mirada afilada, no la respuesta completa. Nada sustituye a una infraestructura de seguridad integral con planes de emergencia (playbooks) previamente definidos.

No se tome a la ligera los ataques apoyados en IA. El camino correcto es pensar como el atacante antes de que lo haga el atacante, y mantener la capacidad de actuar. Para eso hemos creado AttackAI.

Fuentes:

OpenAI y Hugging Face sobre el incidente (21.07.2026): openai.com/de-DE/index/hugging-face-model-evaluation-security-incident

heise online sobre el comunicado de OpenAI/Hugging Face: heise.de/news/KI-Modelle-von-OpenAI-haben-Cyberangriff-auf-Hugging-Face-autonom-ausgefuehrt-11372797.html

Anthropic sobre tres incidentes en evaluaciones de ciberseguridad: anthropic.com, «Investigating three real-world incidents in our cybersecurity evaluations»

tagesschau.de sobre el incidente de Anthropic: tagesschau.de/wirtschaft/digitales/anthropic-ki-angriff-unternehmen-100.html