Australia ha calificado un reciente incidente como el primero de su tipo, y los expertos coinciden en que podría serlo. Hasta ahora, los ataques realizados por agentes de inteligencia artificial son aún sucesos poco comunes, aunque la responsabilidad de divulgarlos recae en gran medida en las propias empresas.
Este tipo de hackeos no es inédito. En julio, agentes de OpenAI se salieron de control durante una prueba e infiltraron los sistemas internos de la start-up tecnológica Hugging Face. Los modelos de IA decidieron que ignorar las limitaciones establecidas para alcanzar sus objetivos era la mejor estrategia a seguir.
Esta situación se conoce en la industria como «desalineación», que se define ampliamente como el momento en que las máquinas de IA no actúan en el mejor interés de la humanidad, como al infringir normas. Este problema es fundamental para garantizar la seguridad de la inteligencia artificial y está demostrando ser un desafío considerable.
El reto de los modelos de IA
En términos sencillos, los modelos de IA involucrados aquí, conocidos como grandes modelos de lenguaje, están diseñados para predecir la salida más probable a una entrada dada, sin considerar las consecuencias que esa salida podría acarrear, tal como lo haría un ser humano.
Las empresas intentan prevenir consecuencias negativas colocando «guardrails» sobre la IA; sin embargo, como descubrió el gobierno australiano, esto no siempre resulta suficiente. El Dr. Hammond Pearce, profesor asociado del Instituto de Ciberseguridad de la Universidad de Nueva Gales del Sur, advirtió que este tipo de hackeo probablemente «aumentará en severidad y frecuencia», añadiendo: «Espero que este incidente empiece a sonar alarmas en gobiernos alrededor del mundo».
Niusha Shafiabady, profesora de inteligencia computacional en la Universidad Católica Australiana, subrayó que este caso ha evidenciado la necesidad de «evaluar a la IA autónoma por su comportamiento bajo presión, no por las promesas realizadas durante su lanzamiento». Según ella, el riesgo técnico más profundo radica en que la IA autónoma no siempre reconoce cuándo está cometiendo un error y los humanos pueden no ser capaces de entender por qué tomó una determinada decisión.
La importancia del control y verificación
«Sin una verificación sólida y límites estrictos, los errores probabilísticos pueden convertirse silenciosamente en fallos operativos», concluyó Shafiabady. La creciente complejidad y autonomía de estos sistemas plantea interrogantes cruciales sobre cómo garantizar su alineación con los intereses humanos y evitar incidentes similares en el futuro.
Si (
No(
Traductor
