Asistentes personales de IA: ¿qué riesgos surgen cuando la inteligencia artificial comienza a actuar por nosotros?
La nueva generación de asistentes de inteligencia artificial promete organizar agendas, realizar compras y gestionar tareas sin intervención constante del usuario. Sin embargo, cuanto mayor es su autonomía, más importante resulta preguntarse a qué información pueden acceder, qué decisiones están autorizados a tomar y cómo evitar que sean manipulados por ciberdelincuentes.
Hasta hace poco, interactuar con un asistente de inteligencia artificial consistía principalmente en hacer preguntas, solicitar información o generar contenido. La persona entregaba una instrucción y el sistema respondía.Ese modelo está cambiando.
Los nuevos asistentes personales de IA buscan ir más allá de la conversación. Su objetivo es ejecutar tareas completas: coordinar reuniones, reservar viajes, comprar productos, administrar compromisos y comunicarse con distintas plataformas en representación de sus usuarios.
Para conseguirlo, necesitan algo que los asistentes tradicionales no siempre requerían: acceso a información privada y autorización para realizar acciones.
Este cambio representa una oportunidad importante para automatizar actividades cotidianas, pero también introduce nuevos riesgos de ciberseguridad.
Cuando una inteligencia artificial puede leer información, utilizar credenciales e interactuar con servicios externos, deja de ser únicamente una herramienta de consulta. Se convierte en un intermediario con capacidad para intervenir en las actividades de una persona o una organización.
Y eso modifica las preguntas que debemos hacernos sobre su seguridad.
¿Qué es la inteligencia artificial agéntica y cómo funciona?
La inteligencia artificial agéntica representa una evolución respecto de los sistemas tradicionales de IA generativa.
Mientras que un chatbot responde preguntas o genera contenido a partir de instrucciones, un agente de IA puede planificar y ejecutar distintas acciones para alcanzar un objetivo, utilizando herramientas, aplicaciones y fuentes de información externas.
Por ejemplo, si una persona solicita organizar un viaje de trabajo, un agente podría consultar su calendario, comparar vuelos, revisar disponibilidad de hoteles y preparar una reserva. Dependiendo de sus permisos, incluso podría completar algunas de estas operaciones sin requerir instrucciones adicionales para cada paso.
Esta capacidad se basa en tres elementos fundamentales:
Autonomía: permite desarrollar una secuencia de tareas sin necesitar una instrucción individual para cada acción.
Integración: facilita la interacción con aplicaciones, plataformas y servicios externos.
Acceso contextual: utiliza información relevante para interpretar solicitudes y tomar decisiones.
Sin embargo, no todos los agentes poseen el mismo nivel de autonomía. Algunos requieren autorización humana antes de cada acción relevante, mientras que otros pueden completar procesos más extensos dentro de límites previamente establecidos.
Desde la perspectiva de la ciberseguridad, esta evolución introduce un cambio importante: la inteligencia artificial deja de limitarse a procesar información y comienza a interactuar directamente con sistemas y servicios.
Por eso, proteger estos agentes implica controlar tanto los datos que pueden consultar como las acciones que están autorizados a realizar.
El acceso a nuestros datos: el verdadero punto crítico
Para que un asistente personal sea útil, necesita conocer parte de nuestras actividades.
Puede requerir acceso al correo electrónico para identificar compromisos, al calendario para coordinar reuniones, a contactos para enviar invitaciones o a plataformas comerciales para efectuar compras.
Cuantas más integraciones incorpora, mayor es la cantidad de información que puede procesar.
Esto plantea un desafío: un asistente que reúne datos procedentes de múltiples servicios puede convertirse en un punto especialmente sensible dentro de la gestión de la información.
Los riesgos pueden incluir la exposición de datos personales, el uso indebido de credenciales, la divulgación de información confidencial y la ejecución de acciones no autorizadas.
La situación adquiere mayor relevancia cuando las cuentas personales y laborales están conectadas.
Un profesional podría utilizar el mismo asistente para organizar una cena, revisar reuniones corporativas y consultar documentos de trabajo. Si la herramienta cuenta con permisos amplios, un incidente de seguridad podría afectar información que pertenece a distintos ámbitos.
Por eso, la comodidad de centralizar tareas no debería traducirse en una autorización ilimitada para acceder a nuestros datos.
Las organizaciones tendrán que evaluar cuidadosamente qué servicios pueden vincularse con estos asistentes y qué información está permitido compartir.
Prompt injection: cuando una instrucción maliciosa intenta controlar al asistente
Uno de los riesgos más relevantes para los agentes de inteligencia artificial es el denominado prompt injection o inyección de instrucciones.
Esta técnica busca manipular el comportamiento de un sistema de IA mediante instrucciones maliciosas incorporadas en contenido que el agente procesa.
Imaginemos que un asistente revisa una página web para buscar información sobre una reserva. Entre los datos visibles podría encontrarse un texto diseñado por un atacante que le indique ignorar sus instrucciones anteriores y ejecutar una acción diferente.
El problema surge cuando el agente interpreta ese contenido externo como una instrucción que debe obedecer, en lugar de tratarlo únicamente como información de la página.
En un sistema que solo genera respuestas, una manipulación de este tipo podría provocar información incorrecta o una respuesta no deseada.
Pero en un agente que dispone de herramientas y permisos para actuar, las consecuencias pueden ser mayores.
Dependiendo de sus capacidades y controles, un ataque podría intentar inducirlo a compartir información sensible, modificar una operación, consultar recursos no relacionados con la tarea o utilizar indebidamente una integración autorizada.
Esto evidencia una diferencia fundamental entre los riesgos tradicionales y los asociados a la IA agéntica: el atacante puede intentar influir en las decisiones del sistema sin tener acceso directo a la cuenta del usuario.
La defensa requiere establecer límites claros entre las instrucciones legítimas, los datos externos y las acciones que el agente está autorizado a ejecutar.
El problema de los permisos excesivos
Una de las principales recomendaciones de ciberseguridad consiste en aplicar el principio de mínimo privilegio: cada usuario, aplicación o sistema debe disponer únicamente de los accesos necesarios para cumplir su función.
Este principio también debe extenderse a los agentes de inteligencia artificial.
Si un asistente necesita consultar la disponibilidad de un calendario, no necesariamente debería tener autorización para modificar todos sus eventos.
Del mismo modo, una herramienta que ayuda a comparar productos no requiere automáticamente permisos para realizar compras sin confirmación.
La dificultad aparece cuando las integraciones ofrecen autorizaciones demasiado amplias o cuando los usuarios aceptan permisos sin comprender completamente su alcance.
En esos casos, un error del agente, una configuración inadecuada o una manipulación maliciosa podría producir consecuencias mayores de las esperadas.
Para reducir este riesgo, resulta conveniente establecer autorizaciones específicas, limitar el acceso a información sensible y exigir confirmación humana antes de ejecutar acciones de alto impacto.
La autonomía debe ser proporcional a la tarea.
¿Qué ocurre si el asistente comete un error?
No todos los incidentes relacionados con agentes de IA requieren la intervención de un ciberdelincuente.
Estos sistemas también pueden interpretar incorrectamente una solicitud, utilizar información incompleta o seleccionar una acción que no coincide con la intención del usuario.
En un asistente convencional, un error puede traducirse en una respuesta equivocada.
En uno capaz de realizar transacciones, modificar información o comunicarse con terceros, ese mismo problema puede tener consecuencias prácticas.
Por ejemplo, podría reservar un servicio incorrecto, compartir un documento con un destinatario equivocado o ejecutar una acción que el usuario esperaba revisar previamente.
Por esta razón, la seguridad de los agentes no depende exclusivamente de impedir ataques externos.
También requiere mecanismos para prevenir errores operativos, validar instrucciones y permitir que las personas supervisen las decisiones más relevantes.
Un asistente confiable no es necesariamente aquel que puede hacer todo de forma autónoma, sino aquel cuyas acciones pueden comprenderse, limitarse y controlar.
El desafío para las empresas: asistentes personales con acceso a información corporativa
Aunque muchas de estas herramientas están dirigidas inicialmente a consumidores, su expansión tendrá implicancias directas para las organizaciones.
Los colaboradores ya utilizan distintas soluciones de inteligencia artificial para redactar documentos, analizar información y automatizar tareas.
La llegada de asistentes capaces de actuar de forma autónoma puede ampliar considerablemente ese uso.
Un agente personal podría interactuar con correos laborales, calendarios empresariales, plataformas de colaboración, documentos almacenados en la nube y otros recursos utilizados diariamente.
Si estas conexiones se realizan sin una política clara, las empresas podrían perder visibilidad sobre qué información se comparte, qué servicios intervienen y qué acciones ejecutan las herramientas.
Esto plantea varios desafíos para las áreas de TI y ciberseguridad.
En primer lugar, será necesario identificar qué asistentes utilizan los colaboradores y qué integraciones mantienen activas.
También deberán revisarse los mecanismos de autenticación, los permisos concedidos y las condiciones bajo las cuales los proveedores procesan y almacenan información.
Otro aspecto importante será la trazabilidad: cuando un agente realiza una acción, la organización necesita contar con registros que permitan determinar qué ocurrió, bajo qué autorización y con qué resultado.
Sin esa visibilidad, investigar un incidente puede volverse considerablemente más complejo.
ESET AI Security: nuevas capacidades para proteger a las empresas en la era de la IA agéntica
La incorporación de agentes de inteligencia artificial exige ampliar las estrategias de ciberseguridad empresarial.
Los controles tradicionales siguen siendo fundamentales, pero la autonomía de estos sistemas introduce riesgos específicos: instrucciones maliciosas, comportamientos inesperados y posibles acciones que comprometan información o recursos corporativos.
Para abordar estos desafíos, ESET ha desarrollado ESET AI Security, un módulo de su plataforma ESET PROTECT orientado a fortalecer la seguridad de las organizaciones que utilizan inteligencia artificial.
Entre sus principales capacidades se encuentran:
AI Agent Security
Esta funcionalidad está orientada a proteger a las organizaciones frente a componentes maliciosos relacionados con agentes autónomos de inteligencia artificial.
Su propósito es contribuir a la detección y prevención de amenazas asociadas al uso de estos sistemas, que pueden incorporar herramientas, extensiones y otros componentes dentro de sus procesos.
AI Behavioral Monitoring
Permite supervisar continuamente el comportamiento de los agentes de IA para identificar actividades sospechosas.
Esta capacidad resulta especialmente relevante en sistemas que ejecutan acciones de manera autónoma, ya que permite ampliar la vigilancia más allá de la identificación de archivos maliciosos conocidos.
ESET LiveCortex y ESET LiveAI
Las nuevas capacidades se complementan con otras tecnologías de la plataforma ESET PROTECT.
ESET LiveCortex es un motor de correlación y respuesta que permite relacionar señales de seguridad provenientes de distintos puntos de la infraestructura.
Por su parte, ESET LiveAI proporciona información contextual para apoyar el análisis y la respuesta frente a amenazas.
En conjunto, estas capacidades apuntan a fortalecer la visibilidad y el análisis de comportamientos sospechosos en organizaciones que incorporan nuevas tecnologías de inteligencia artificial.
Cinco medidas para utilizar asistentes de IA con mayor seguridad
La adopción de agentes personales no necesariamente debe detenerse por sus riesgos. Sin embargo, sí requiere controles adecuados desde el inicio.
1. Revisar los permisos antes de conectar una aplicación.
Es recomendable comprobar qué datos solicita el asistente, qué operaciones puede ejecutar y si realmente necesita todas esas autorizaciones.
2. Evitar el acceso innecesario a información confidencial.
No todos los documentos, correos o sistemas deben estar disponibles para una herramienta de IA. En contextos corporativos, las conexiones deben ajustarse a las políticas de seguridad de la organización.
3. Mantener supervisión humana sobre acciones sensibles.
Las compras, transferencias, modificaciones de permisos y otras operaciones relevantes deberían requerir confirmación explícita antes de ejecutarse.
4. Priorizar soluciones con controles de seguridad verificables.
Es importante evaluar cómo el proveedor protege los datos, administra las credenciales, registra las actividades y responde ante incidentes. Las afirmaciones comerciales sobre seguridad deben contrastarse con información técnica y garantías concretas.
5. Monitorear y revisar periódicamente las integraciones.
Los permisos otorgados no deberían mantenerse indefinidamente sin evaluación. Es conveniente revocar conexiones que ya no se utilizan y supervisar actividades inusuales.
Estas medidas deben complementarse con políticas de uso de inteligencia artificial, capacitación y mecanismos de gestión de identidades y accesos.
La confianza en la IA debe construirse sobre controles, no sobre promesas
Los asistentes personales de inteligencia artificial están avanzando hacia un modelo en el que podrán participar directamente en nuestras actividades cotidianas.
Su potencial es considerable, pero también lo es la responsabilidad que implica entregarles acceso a información y capacidad para actuar.
La pregunta para los usuarios y las empresas no debería ser únicamente qué tareas puede automatizar un agente, sino qué ocurriría si sus instrucciones fueran manipuladas, sus permisos se utilizaran indebidamente o sus decisiones resultaran equivocadas.
La ciberseguridad tendrá un papel fundamental en esta transición.
La protección de identidades, el control de accesos, la supervisión de actividades y la prevención de ataques como el prompt injection serán componentes esenciales para incorporar estas tecnologías de manera responsable.
En Lockbits, ayudamos a las organizaciones a fortalecer sus estrategias de ciberseguridad frente a amenazas emergentes y nuevas formas de utilización de la tecnología, con soluciones como ESET AI Security.
La inteligencia artificial puede asumir más tareas, pero el control de la información y las decisiones críticas debe permanecer en manos de las personas.
Conoce cómo podemos ayudarte a fortalecer la seguridad de tu empresa en lockbits.cl/contacto.