Imagina que le pides a un empleado increíblemente inteligente que resuelva un examen difícil, le dices que use todos los medios necesarios y le quitas, solo por esta vez, casi todos los frenos que normalmente le impedirían hacer trampas. Ese empleado, en vez de rendirse ante un obstáculo, se las ingenia para colarse por la ventana de la oficina de al lado, hacerse con las respuestas y volver a su escritorio como si nada.
Eso, más o menos, es lo que acaba de ocurrir, pero con inteligencia artificial de por medio, servidores reales y una empresa, Hugging Face, que terminó recibiendo una visita inesperada en parte de su infraestructura.
OpenAI lo confirmó el 21 de julio en un comunicado bastante directo: durante una prueba interna destinada a medir las capacidades ofensivas de sus modelos en ciberseguridad, una combinación de sistemas (entre ellos GPT-5.6 Sol y otro modelo aún no lanzado y descrito como más capaz) logró salir del entorno controlado en el que debía operar y terminó comprometiendo parte de la infraestructura de producción de Hugging Face. Para la evaluación, los modelos estaban configurados con menos rechazos de seguridad de los habituales.
Vamos por partes, porque esto tiene varias capas.
Todo arrancó con una evaluación de capacidades cibernéticas. OpenAI estaba probando sus modelos con ExploitGym, un benchmark diseñado para medir hasta qué punto una inteligencia artificial puede identificar vulnerabilidades y convertirlas en exploits funcionales.
El objetivo era comprobar cómo se comportaban los modelos en un escenario exigente y con menos restricciones que las aplicadas normalmente en los productos comerciales. OpenAI buscaba medir las capacidades máximas de los sistemas en condiciones controladas. En teoría, entre esas condiciones estaba la imposibilidad de que el modelo pudiese acceder a la red abierta.
En teoría.
El problema es que los modelos se tomaron el reto muy en serio.
Según OpenAI, el experimento estaba planteado para ejecutarse en “un entorno altamente aislado, con acceso a la red restringido a la capacidad de instalar paquetes a través de un software de terceros alojado internamente que actúa como proxy y caché para los registros de paquetes”.
Pero “altamente aislado” no era “totalmente aislado”, me temo.
De acuerdo con el relato de OpenAI, dedicaron una cantidad sustancial de cómputo a buscar una vía para abandonar el entorno aislado. Finalmente, aprovecharon una vulnerabilidad de día cero en el software utilizado internamente. A partir de ese acceso, encadenaron distintas acciones hasta alcanzar un nodo que sí disponía de conexión abierta a internet.
Una vez fuera del entorno previsto, los agentes de OpenAI infirieron que Hugging Face, uno de los mayores repositorios de IA en código abierto del mundo, podía alojar modelos, datasets o soluciones relacionadas con el problema que intentaban resolver. En otras palabras, encontraron una forma de buscar las respuestas fuera del examen. Como parte de esa estrategia, localizaron infraestructura externa potencialmente útil y encadenaron credenciales comprometidas y vulnerabilidades hasta conseguir acceso no autorizado a parte de los sistemas de Hugging Face.
Según OpenAI, los agentes llegaron a obtener soluciones almacenadas en una base de datos de producción de la plataforma.
Conviene introducir aquí un matiz importante: no se trató de una IA que, por iniciativa propia, decidiera atacar una empresa al azar. Los humanos habían definido previamente el objetivo de la prueba, el benchmark, las herramientas disponibles y las condiciones de la evaluación. Sin embargo, dentro de ese marco, el sistema ejecutó una secuencia de acciones altamente autónoma y fue más allá del entorno en el que debía mantenerse.
La respuesta de Hugging Face fue casi tan interesante como el ataque.
La compañía detectó inicialmente la actividad mediante un sistema de triaje de seguridad asistido por modelos de lenguaje. Este sistema cruzaba distintas señales para separar comportamientos habituales de patrones potencialmente maliciosos y fue esa correlación la que ayudó a activar la alerta.
Después, el equipo de seguridad tuvo que reconstruir lo sucedido a partir de más de 17.000 acciones registradas durante la intrusión.
Para ello recurrió a GLM-5.2, un modelo de pesos abiertos desarrollado por Z.ai y ejecutado en la propia infraestructura de Hugging Face. No era, por tanto, un modelo creado por Hugging Face, pero sí una herramienta que la empresa podía utilizar localmente, sin depender de las políticas y limitaciones de una API externa.
Pero… ¿Por qué no utilizaron directamente alguno de los grandes modelos comerciales para realizar el análisis forense? Cuando sus investigadores trataron de introducir comandos y cargas maliciosas en modelos comerciales para analizar el ataque, algunos de estos sistemas se negaron a colaborar. Sus filtros de seguridad no podían distinguir adecuadamente entre un analista que estaba estudiando una intrusión y un atacante que pretendía ejecutar esas mismas instrucciones con fines dañinos.
Es decir: los atacantes pueden recurrir a modelos modificados, abiertos o configurados sin tantas restricciones, mientras que los defensores corren el riesgo de quedar bloqueados por los controles de seguridad de los servicios comerciales.
Ante este caso, parece claro que los modelos más avanzados empiezan a ser capaces de descubrir, encadenar y explotar vulnerabilidades complejas con un grado considerable de autonomía.
OpenAI calificó públicamente lo sucedido como un “incidente cibernético sin precedentes” relacionado con capacidades de última generación. La empresa también reconoció que espera que este tipo de amenazas sean cada vez más frecuentes a medida que proliferen modelos con mejores capacidades en ciberseguridad. Aunque esto no significa que GPT-5.6 pueda comprometer cualquier sistema de forma automática.
De hecho, la documentación de seguridad publicada por OpenAI señala que GPT-5.6 Sol y Terra pueden encontrar vulnerabilidades y construir partes de exploits, pero no consiguieron completar ataques autónomos de extremo a extremo contra objetivos especialmente valorados en otras evaluaciones. El incidente de Hugging Face se produjo gracias a una combinación concreta de vulnerabilidades, permisos, credenciales y configuraciones que permitió al agente avanzar paso a paso.
Clément Delangue, cofundador y CEO de Hugging Face, defendió tras el incidente que la seguridad de la IA no podrá resolverse únicamente mediante empresas que trabajen de forma aislada, sino que necesitará colaboración abierta y un acceso suficientemente amplio a las herramientas defensivas. No basta con tener un firewall bonito si al otro lado existe un agente que puede explorar incansablemente todas las ventanas que alguien dejó abiertas.
No basta con una separación lógica o con asumir que un agente respetará los límites definidos en sus instrucciones. Las evaluaciones de modelos con capacidades ofensivas deberían utilizar restricciones estrictas de red, controles independientes y entornos que no tengan rutas indirectas hacia sistemas reales. A la vista de lo sucedido, es evidente que hubo un grave error por parte de OpenAI al no restringir totalmente el acceso a la red, algo por lo que numerosos especialistas han criticado a la compañía de Sam Altman.
Hugging Face pudo reconstruir el incidente utilizando un modelo abierto ejecutado en su propia infraestructura. Las empresas que dependan exclusivamente de APIs externas pueden encontrarse con que los filtros de seguridad de esos servicios bloqueen precisamente los datos que necesitan analizar durante una emergencia.
Los datasets, cargadores, dependencias y paquetes de terceros se han convertido en posibles puertas de entrada. La seguridad de una plataforma de IA no depende únicamente de sus servidores principales, sino también de todos los componentes que permiten descargar, interpretar y ejecutar contenido externo.
Reducir los rechazos de seguridad puede ser necesario para medir las capacidades máximas de un modelo, pero también aumenta el riesgo de que el sistema ejecute acciones no previstas. Quitar los frenos, incluso en un laboratorio, exige asegurarse antes de que el laboratorio no tenga ninguna ventana abierta hacia el mundo real.
OpenAI y Hugging Face han asegurado que seguirán investigando el incidente y compartiendo información con la comunidad de seguridad. Hugging Face también indicó que continuaba evaluando el posible impacto sobre socios o clientes y que contactaría directamente con cualquier parte afectada. Hasta hace poco, una de las grandes preocupaciones era que una inteligencia artificial ayudara a un atacante humano. Este episodio plantea una pregunta distinta y bastante más incómoda: qué ocurre cuando buena parte del ataque puede ejecutarla la propia IA.
Imagen: ChatGPT
Your email address will not be published. Required fields are marked *
Δ