¿Podemos confiar en los detectores de inteligencia artificial? Los riesgos de confundir una probabilidad con una prueba
Los detectores de contenido generado por IA prometen distinguir entre textos humanos y artificiales. Sin embargo, recientes controversias literarias han puesto en evidencia sus limitaciones y abierto una discusión sobre los riesgos de utilizar sus resultados para tomar decisiones que pueden afectar la reputación de personas y organizaciones.
La inteligencia artificial está transformando la producción de contenidos, pero también está impulsando el desarrollo de herramientas que intentan identificar cuándo un texto fue generado mediante esta tecnología.
Universidades, editoriales, empresas y otras organizaciones han comenzado a utilizar detectores de IA para evaluar documentos, trabajos académicos y publicaciones. Su atractivo es evidente: ofrecen una respuesta aparentemente objetiva a una pregunta cada vez más difícil de resolver.
¿Este contenido fue escrito por una persona o por una máquina?
El problema comienza cuando una estimación algorítmica se interpreta como una prueba concluyente.
Una polémica literaria que expone las limitaciones de los detectores
El debate adquirió notoriedad tras las acusaciones contra el escritor peruano David Silva, cuya novela Donde el agua trabaja obtuvo el Premio Internacional de Novela Breve Almadía Ventosa-Arrufat.
La obra fue seleccionada entre más de 2.200 participantes, pero posteriormente un reportaje cuestionó su autoría basándose en los resultados de Pangram, una herramienta que estimó una alta probabilidad de generación mediante inteligencia artificial.
El escritor negó haber utilizado IA para redactar su novela y la editorial decidió revisar los antecedentes antes de establecer conclusiones.
La controversia motivó a otros autores a realizar sus propias pruebas. Entre ellos, el escritor chileno Francisco Ortega utilizó el mismo detector para analizar textos publicados mucho antes de la aparición de los actuales sistemas de IA generativa.
Los resultados fueron sorprendentes: algunas de sus obras recibieron porcentajes superiores al 85% de probabilidad de haber sido generadas por inteligencia artificial.
Estos experimentos individuales no permiten establecer por sí solos la tasa general de error de una herramienta. Sin embargo, ilustran un problema relevante: un detector puede atribuir características de escritura artificial a contenidos cuya autoría humana está documentada.
Y cuando ese resultado se utiliza para cuestionar públicamente a una persona, sus consecuencias pueden ser difíciles de revertir.
¿Cómo funcionan realmente los detectores de IA?
Para comprender sus limitaciones, es importante distinguir entre detectar patrones y comprobar una autoría.
Los detectores de textos generados por IA utilizan modelos estadísticos y técnicas de aprendizaje automático para identificar características que podrían estar asociadas con contenidos producidos por sistemas generativos.
Dependiendo de la herramienta, pueden analizar aspectos como la estructura de las oraciones, la regularidad del lenguaje, las relaciones entre palabras y otros patrones presentes en el texto.
Sin embargo, estas características no son exclusivas de la inteligencia artificial.
Un documento técnico, un informe empresarial o un artículo académico pueden presentar estructuras consistentes, vocabulario predecible y una redacción formal sin que exista intervención de una IA generativa.
De la misma manera, un texto producido por inteligencia artificial puede ser editado, reformulado o combinado con escritura humana, dificultando todavía más su clasificación.
Por eso, es fundamental comprender que una herramienta que identifica similitudes estadísticas no necesariamente puede demostrar cómo fue creado un documento.
Incluso cuando un detector entrega un porcentaje elevado, ese número no debe interpretarse automáticamente como la probabilidad real de que una persona haya utilizado IA.
La fiabilidad de esa estimación depende de múltiples factores, como el modelo utilizado, los datos de evaluación, el tipo de texto y las condiciones en que se realiza el análisis.
Falsos positivos: cuando la tecnología se equivoca con consecuencias reales
En ciberseguridad, el concepto de falso positivo es ampliamente conocido.
Ocurre cuando una herramienta identifica como amenaza una actividad que, en realidad, es legítima.
Este mismo problema puede presentarse en los detectores de inteligencia artificial: un texto escrito por una persona puede ser clasificado incorrectamente como contenido generado por una máquina.
La diferencia está en las consecuencias.
Mientras que una alerta de seguridad equivocada puede generar trabajo adicional para un equipo técnico, una acusación incorrecta de autoría artificial puede afectar la reputación profesional, la credibilidad académica o las oportunidades laborales de una persona.
En el ámbito empresarial, los riesgos también son relevantes.
Imaginemos que una organización utiliza un detector para evaluar informes de sus colaboradores, propuestas comerciales, documentos de proveedores o postulaciones laborales.
Si los resultados se consideran definitivos, una clasificación errónea podría derivar en decisiones injustificadas, conflictos internos o cuestionamientos reputacionales.
El problema no está necesariamente en utilizar herramientas automatizadas como apoyo, sino en atribuirles un nivel de certeza que no pueden garantizar.
El riesgo de confiar demasiado en una respuesta automatizada
La discusión sobre los detectores de IA refleja un fenómeno más amplio: la tendencia a otorgar excesiva autoridad a los resultados producidos por sistemas tecnológicos.
Cuando una herramienta entrega un porcentaje preciso, una clasificación o una recomendación, puede generar la impresión de que su conclusión está respaldada por evidencia objetiva y suficiente.
Sin embargo, una respuesta expresada numéricamente no elimina la posibilidad de error.
Este fenómeno, conocido como sesgo de automatización, puede llevar a las personas a aceptar las recomendaciones de un sistema sin evaluar adecuadamente sus limitaciones.
En las organizaciones, este riesgo se vuelve especialmente importante cuando la inteligencia artificial comienza a participar en procesos de evaluación, supervisión y toma de decisiones.
La automatización puede mejorar la eficiencia y facilitar el análisis de grandes cantidades de información, pero también puede amplificar errores cuando sus resultados no son revisados críticamente.
Por eso, incorporar inteligencia artificial no debería significar eliminar el criterio humano de los procesos sensibles.
¿Qué relación tiene este debate con la ciberseguridad empresarial?
Aunque la controversia se originó en el mundo editorial, plantea preguntas directamente relacionadas con la seguridad de la información y la gestión de riesgos tecnológicos.
Las empresas utilizan cada vez más soluciones automatizadas para detectar amenazas, identificar comportamientos sospechosos, clasificar información y apoyar decisiones operativas.
Estas capacidades son fundamentales para enfrentar ataques cada vez más sofisticados, pero requieren comprender cómo interpretar correctamente sus resultados.
Una alerta de seguridad no siempre confirma la existencia de un ataque. Del mismo modo, la ausencia de una alerta tampoco garantiza que un sistema esté protegido.
La eficacia de una estrategia de ciberseguridad depende de combinar tecnología, información contextual y capacidades de análisis.
Esto permite distinguir entre eventos legítimos, actividades anómalas y amenazas que requieren una respuesta inmediata.
La misma lógica debería aplicarse al uso de detectores de IA: sus resultados pueden aportar antecedentes, pero deben evaluarse junto con otras fuentes de información antes de tomar decisiones.
El desafío no consiste en desconfiar de toda herramienta automatizada, sino en comprender qué puede demostrar realmente y cuáles son sus límites.
Cinco recomendaciones para utilizar detectores de IA de manera responsable
Si una organización decide incorporar herramientas de detección de contenido generado por inteligencia artificial, es importante establecer criterios claros para su utilización.
1. No utilizar un porcentaje como prueba definitiva. Los resultados deben interpretarse como estimaciones sujetas a errores, no como demostraciones concluyentes de autoría.
2. Complementar el análisis con evidencia verificable. Historiales de versiones, borradores, registros de trabajo y antecedentes del proceso de elaboración pueden aportar información más útil que una clasificación aislada.
3. Evaluar las limitaciones de cada herramienta. Antes de incorporarla a un proceso empresarial, conviene revisar su metodología, las condiciones de evaluación y la evidencia disponible sobre sus tasas de error.
4. Proteger la información que se analiza. Subir documentos internos a plataformas externas puede implicar riesgos de confidencialidad. Es necesario revisar qué datos recopilan estas herramientas, cómo los procesan y bajo qué condiciones los almacenan.
5. Mantener supervisión humana en decisiones sensibles. Una herramienta puede apoyar una investigación, pero no debería ser la única base para adoptar medidas que afecten derechos, reputación o relaciones profesionales.
Estas recomendaciones permiten aprovechar las capacidades de la tecnología sin delegar completamente en ella decisiones que requieren contexto y responsabilidad.
La inteligencia artificial necesita controles, no confianza ciega
La discusión sobre los detectores de IA demuestra que la incorporación de nuevas tecnologías también exige desarrollar nuevas capacidades para evaluar sus resultados.
No todas las herramientas que utilizan inteligencia artificial ofrecen el mismo nivel de precisión, transparencia o fiabilidad. Tampoco todas están diseñadas para responder a las mismas necesidades.
Por eso, antes de adoptar una solución automatizada, las organizaciones deberían preguntarse qué problema buscan resolver, qué información utilizará el sistema, qué errores podría cometer y cuáles serían las consecuencias de esos errores.
En ciberseguridad, esta evaluación resulta especialmente importante.
La inteligencia artificial puede contribuir significativamente a la detección de amenazas, al análisis de grandes volúmenes de información y a la respuesta frente a incidentes. Pero su incorporación debe acompañarse de criterios de validación, supervisión y protección de datos.
La tecnología puede ayudar a tomar mejores decisiones. El riesgo aparece cuando dejamos de cuestionar sus respuestas.
En Lockbits, como especialistas en ciberseguridad y Gold Partner de ESET en Chile, ayudamos a las organizaciones a incorporar soluciones de protección y fortalecer sus capacidades de detección, análisis y respuesta frente a las amenazas actuales.
Porque aprovechar los beneficios de la inteligencia artificial también implica comprender sus riesgos y establecer controles adecuados para su utilización.
¿Tu organización está preparada para enfrentar los nuevos desafíos de seguridad asociados a la inteligencia artificial?
Conoce nuestras soluciones y contáctanos en lockbits.cl/contacto/