IA de código abierto y ciberseguridad: ¿qué cambia cuando un modelo puede descargarse y ejecutarse libremente?

La inteligencia artificial está avanzando rápidamente en una capacidad que resulta especialmente relevante para la ciberseguridad: no solo identificar vulnerabilidades, sino también ayudar a desarrollar métodos para explotarlas.

Una evaluación reciente de Anthropic sobre GLM-5.3, modelo desarrollado por la compañía china Z.ai (Zhipu AI), puso esta evolución nuevamente sobre la mesa. En determinadas pruebas de ciberseguridad, el modelo obtuvo resultados cercanos a Claude Mythos Preview, el sistema de Anthropic evaluado en el mismo contexto.

El dato es relevante por una razón adicional: GLM-5.3 es un modelo con pesos abiertos, lo que permite descargar sus parámetros y ejecutarlo en infraestructura propia. Esto cambia una parte importante de la conversación sobre seguridad de la inteligencia artificial.

Ya no se trata únicamente de preguntarse qué puede hacer un modelo, sino también quién puede acceder a él, bajo qué condiciones y qué controles permanecen disponibles una vez que el modelo está fuera de la infraestructura de su desarrollador.

Detectar una vulnerabilidad no es lo mismo que explotarla

Antes de dimensionar el riesgo, es importante establecer una diferencia fundamental. Una cosa es que un sistema de inteligencia artificial pueda identificar una vulnerabilidad en un software. Otra muy diferente es que sea capaz de convertir ese descubrimiento en un ataque funcional.

Encontrar un fallo puede implicar reconocer un comportamiento inesperado, identificar una condición vulnerable o señalar una parte del código que podría ser explotada. Explotarlo requiere ir un paso más allá: desarrollar una técnica que permita aprovechar esa condición para conseguir que el software realice una acción que no debería realizar. Por eso, las evaluaciones de capacidades ofensivas de IA intentan medir distintos niveles de habilidad.

En el caso de GLM-5.3, Anthropic evaluó su capacidad en ExploitBench, una prueba centrada en vulnerabilidades del motor V8 utilizado por Google Chrome. En entornos controlados, el modelo consiguió desarrollar ataques completos en 50 de 410 intentos, frente a 56 de Claude Mythos Preview. Las cifras muestran una diferencia relativamente pequeña en esa prueba específica, pero deben interpretarse con cautela.

No significan que una IA pueda comprometer automáticamente cualquier navegador, servidor o red empresarial. Las evaluaciones se realizaron en entornos controlados y no equivalen a ataques exitosos contra sistemas reales. Lo que sí demuestran es una evolución importante: determinados modelos están adquiriendo capacidades cada vez más avanzadas para recorrer distintas etapas de una cadena de explotación.

Cuando la IA pasa del análisis a la explotación

Anthropic también describe una evaluación realizada junto con un investigador en la que GLM-5.3 consiguió identificar vulnerabilidades desconocidas en un navegador y combinarlas para diseñar una página capaz de acceder a archivos locales cuando era visitada.

La prueba se realizó en un entorno controlado y los desarrolladores afectados fueron informados previamente. Desde la perspectiva de la ciberseguridad, este tipo de experimentos tiene un doble valor.

Por un lado, una IA capaz de descubrir y demostrar vulnerabilidades puede convertirse en una herramienta extremadamente útil para los equipos de seguridad. Puede ayudar a encontrar fallos antes de que sean aprovechados por actores maliciosos, acelerar investigaciones y ampliar la capacidad de análisis de los especialistas.

Pero existe otra cara: la misma capacidad puede reducir el esfuerzo necesario para transformar una vulnerabilidad en una herramienta de ataque. Y esa reducción de esfuerzo es uno de los factores que más importan cuando analizamos el impacto de la inteligencia artificial sobre la seguridad.

El verdadero desafío no es solo lo que la IA sabe hacer

Las capacidades técnicas son solamente una parte del problema también es necesario analizar las barreras de seguridad que impiden que un modelo responda ante solicitudes maliciosas.

En las pruebas descritas por Anthropic, el modelo base de GLM-5.3 rechazó las instrucciones abiertamente maliciosas. Sin embargo, cuando se modificaron las condiciones de evaluación o se utilizaron versiones con menos restricciones, la proporción de respuestas positivas aumentó significativamente.

Esto introduce una distinción relevante. Un modelo puede tener determinadas capacidades técnicas y, al mismo tiempo, estar diseñado para negarse a utilizarlas ante determinadas solicitudes. Mientras el modelo permanece bajo el control de su proveedor, este puede implementar políticas, filtros, sistemas de monitoreo y mecanismos de actualización para gestionar ese comportamiento.

Pero ¿qué sucede cuando los pesos del modelo pueden descargarse y ejecutarse de manera independiente? Ahí comienza la parte más interesante del debate.

¿Qué significa realmente que un modelo tenga pesos abiertos?

Cuando hablamos de un modelo con pesos abiertos, no significa simplemente que cualquier persona pueda acceder a un chatbot gratuito desde una página web. Los pesos son los parámetros que permiten que el modelo funcione. Cuando están disponibles para descarga bajo las condiciones establecidas por su desarrollador, terceros pueden instalar el modelo en infraestructura propia y utilizarlo sin depender necesariamente de una interfaz proporcionada por el desarrollador original.

Esto puede ofrecer enormes ventajas. Investigadores, universidades y empresas de ciberseguridad pueden estudiar el comportamiento del modelo, realizar pruebas, desarrollar herramientas defensivas y analizar sus capacidades sin depender exclusivamente de una plataforma externa.

Pero también introduce desafíos. Una vez que el modelo puede ejecutarse localmente, el proveedor pierde parte del control directo sobre cómo se utiliza.

Un servicio cerrado puede aplicar filtros, limitar determinados usos, detectar patrones de abuso, modificar sus políticas o retirar una funcionalidad. Un modelo descargado puede ser modificado, integrado en otras herramientas o ejecutado en una infraestructura que el desarrollador original no controla.

Por eso, el debate sobre IA y ciberseguridad comienza a desplazarse desde una pregunta centrada exclusivamente en las capacidades hacia otra relacionada con la distribución y gobernanza de esas capacidades.

Una misma capacidad puede utilizarse para defender o atacar

La ciberseguridad siempre ha tenido una característica particular: muchas herramientas tienen un uso dual. Un escáner de vulnerabilidades puede ser utilizado por un equipo de seguridad para encontrar fallos antes que los atacantes. Un investigador puede desarrollar un exploit para demostrar que un sistema es vulnerable y permitir que el fabricante lo corrija.

Una herramienta de análisis de código puede ayudar a identificar errores de programación o facilitar la búsqueda de puntos débiles. La inteligencia artificial amplifica esta dualidad porque puede automatizar parte del trabajo que antes requería conocimientos especializados, tiempo y recursos.

Para un defensor, eso puede significar:

• Analizar grandes cantidades de código.
• Detectar vulnerabilidades.
• Priorizar riesgos.
• Generar pruebas de seguridad.
• Investigar incidentes.
• Automatizar tareas de análisis.

Para un atacante, capacidades similares podrían utilizarse para:

• Buscar vulnerabilidades con mayor velocidad.
• Generar variantes de ataques.
• Automatizar determinadas tareas de reconocimiento.
• Adaptar técnicas de ingeniería social.
• Reducir el conocimiento técnico necesario para determinadas etapas de un ataque.

El problema no es que la IA tenga una intención maliciosa, es que la automatización puede reducir las barreras de entrada para realizar determinadas actividades ofensivas.

¿Por qué el acceso abierto puede aumentar el desafío?

La disponibilidad de los pesos modifica el equilibrio entre capacidad y control. Mientras una IA funciona exclusivamente como servicio, existe una organización que puede establecer reglas sobre su utilización. Cuando el modelo puede ejecutarse localmente, aparecen nuevas posibilidades de personalización.

Esto puede ser positivo para la investigación y la innovación, pero también puede dificultar la aplicación de mecanismos de seguridad. Un actor malicioso podría, por ejemplo, modificar un modelo para eliminar determinadas restricciones o integrarlo dentro de una herramienta diseñada para automatizar tareas específicas.

Esto no significa que todo modelo de pesos abiertos sea inherentemente peligroso ni que su descarga conduzca automáticamente a ataques. Significa que la disponibilidad del modelo añade una nueva variable de riesgo.

La pregunta deja de ser únicamente: ¿qué capacidades tiene este modelo? Y pasa a incluir:

¿Quién puede ejecutarlo?
¿Puede modificarlo?
¿Qué controles permanecen activos?
¿Qué infraestructura necesita?
¿Qué tan sencillo es integrarlo con otras herramientas?

Estas preguntas serán cada vez más importantes a medida que aumente la capacidad de los modelos.

La evaluación del NIST también aporta contexto

La evaluación independiente realizada por el Center for AI Standards and Innovation (CAISI) del NIST también resulta relevante para dimensionar estas capacidades.

El organismo catalogó a GLM-5.3 como el sistema de pesos abiertos más avanzado evaluado hasta ese momento en determinadas capacidades relacionadas con ciberseguridad.

Sin embargo, también señaló que el modelo todavía se encontraba por detrás de los sistemas estadounidenses de vanguardia y que sus capacidades generales eran inferiores.

Este punto es importante porque evita caer en una conclusión simplista.

Que un modelo se acerque al rendimiento de otro en una prueba específica no significa que haya alcanzado una superioridad general en inteligencia artificial ni que pueda realizar ataques autónomos contra cualquier objetivo.

Las evaluaciones de seguridad deben analizarse en función de la tarea, el entorno y las condiciones bajo las cuales fueron realizadas.

Aun así, la tendencia merece atención.

Si los modelos de pesos abiertos continúan mejorando sus capacidades de ciberseguridad, la disponibilidad de estas herramientas podría convertirse en un factor cada vez más relevante dentro del panorama de amenazas.

¿Qué deberían hacer las organizaciones?

La evolución de la IA ofensiva no significa que las empresas deban evitar estas tecnologías.

Por el contrario, significa que necesitan incorporarlas dentro de sus estrategias de seguridad.

Algunas medidas son especialmente relevantes.

1. Evaluar el uso de IA dentro de la organización

Las empresas deberían identificar qué herramientas de IA utilizan sus colaboradores, desarrolladores y equipos técnicos.

No basta con conocer las aplicaciones oficiales. También es importante detectar herramientas utilizadas de manera no autorizada o sin evaluación previa.

2. Proteger el código y la información sensible

El uso de asistentes de programación y modelos de IA debe contemplar políticas claras sobre qué información puede introducirse en ellos.

Código propietario, credenciales, información de clientes y otros datos sensibles no deberían compartirse sin evaluar previamente los riesgos.

3. Mantener una gestión de vulnerabilidades activa

Si la IA puede acelerar el descubrimiento de vulnerabilidades, las organizaciones necesitan reducir el tiempo entre la identificación de un fallo y su corrección.

La gestión de parches, el monitoreo y las evaluaciones de seguridad adquieren todavía más importancia.

4. Reforzar la detección

Una organización debe asumir que las herramientas disponibles para los atacantes también están evolucionando.

La capacidad de detectar comportamientos anómalos y responder rápidamente frente a incidentes es fundamental.

5. Establecer políticas para el uso de IA

Las organizaciones necesitan definir qué herramientas están autorizadas, qué información puede procesarse mediante ellas y qué controles deben aplicarse.

La adopción de IA sin una política de seguridad puede generar una nueva superficie de exposición.

La carrera por la IA también es una carrera por la seguridad

El caso de GLM-5.3 muestra algo que probablemente veremos con mayor frecuencia: la distancia entre las capacidades de los modelos de inteligencia artificial se está reduciendo, mientras que la disponibilidad de modelos avanzados fuera de las plataformas cerradas aumenta.

Esto puede acelerar la investigación y democratizar el acceso a tecnologías que antes estaban concentradas en grandes compañías.

Pero también obliga a replantear cómo entendemos el riesgo.

La pregunta ya no es simplemente si una inteligencia artificial puede encontrar una vulnerabilidad.

Debemos preguntarnos qué ocurre cuando puede hacerlo a escala, cuánto esfuerzo requiere convertir ese conocimiento en una acción ofensiva y qué sucede cuando las barreras de seguridad pueden ser modificadas o eliminadas por quien ejecuta el modelo.

Para los equipos de ciberseguridad, esta evolución representa tanto un desafío como una oportunidad.

La misma inteligencia artificial que puede ayudar a encontrar vulnerabilidades antes que los atacantes también puede convertirse en una herramienta para mejorar la detección, automatizar análisis y acelerar la respuesta.

La diferencia estará en quién la utiliza, con qué controles y con qué estrategia de seguridad.

En Lockbits seguimos de cerca la evolución de las amenazas impulsadas por inteligencia artificial para ayudar a las organizaciones a anticiparse a los nuevos escenarios de riesgo.

La IA está cambiando la ciberseguridad. La seguridad también debe evolucionar con ella.

Conoce nuestras soluciones de ciberseguridad