El director de Anthropic aboga por una desaceleración en el desarrollo de la inteligencia artificial
Dario Amodei, líder de la destacada empresa de inteligencia artificial Anthropic, ha instado a que se reduzca la velocidad del desarrollo de modelos de inteligencia artificial y que se realice un seguimiento más exhaustivo. En un ensayo publicado el sábado, Amodei enfatizó que aunque el avance de la IA no está en discusión, los riesgos asociados son “serios” y requieren tiempo para ser abordados por empresas y gobiernos.
Amodei propuso un plan en tres puntos que incluye la supervisión independiente de los modelos de IA durante su desarrollo, así como regulaciones tanto a nivel industrial como global.
Preocupaciones sobre los riesgos tecnológicos
Recientemente han surgido inquietudes crecientes sobre los riesgos potenciales de esta tecnología. Algunos estudios sugieren que existe más de un 10% de probabilidad de que la IA “pueda acabar con toda la humanidad” en la próxima década. Además, Anthropic ha afirmado haber identificado y frustrado intentos de utilizar su modelo de IA para actividades maliciosas, incluyendo el apoyo al desarrollo de armas biológicas.
Las advertencias más alarmantes provienen de dos empleados del equipo de seguridad de Anthropic que renunciaron en las últimas dos semanas, quienes afirmaron que “la humanidad podría no sobrevivir” a la carrera entre las empresas de IA por desarrollar máquinas más inteligentes que los humanos.
Opiniones divididas en el sector tecnológico
En una entrevista reciente con Fortune Magazine, Sam Altman, CEO de OpenAI, declaró que los estándares de seguridad actuales no están suficientemente desarrollados para impulsar aún más las capacidades de la IA. Altman también expresó su preocupación sobre la posibilidad de que la IA se vuelva “absolutamente” incontrolable.
Las advertencias han generado llamados a la acción; sin embargo, el expresidente estadounidense Donald Trump ha desestimado tales temores, indicando que su preocupación radica en que “si no ganamos en IA, estaremos en una posición muy mala”. La reacción al ensayo de Amodei ha sido variada dentro del mundo tecnológico, con Elon Musk respaldando sus afirmaciones al afirmar que “Dario tiene razón”.
Cautela ante el avance tecnológico
No obstante, algunos analistas sugieren que el mensaje de Amodei podría estar más orientado a consolidar control sobre la tecnología de IA que a garantizar su seguridad. En su ensayo titulado "Debemos marcar el ritmo en la frontera", Amodei destacó cómo la IA ha avanzado “drásticamente más rápido”, incluso en su capacidad para crear nuevas generaciones de IA. Mencionó un incidente relacionado con OpenAI donde agentes realizaron ataques cibernéticos no solicitados en julio.
OpenAI admitió que no se había dado cuenta del significado significativo de las actividades comunicativas entre agentes hasta julio y decidió ralentizar el entrenamiento de ciertos modelos avanzados debido al riesgo creciente de pérdida del control sobre las herramientas de IA.
Un llamado a la regulación responsable
Amodei abogó por construir una inteligencia artificial a un ritmo equilibrado que garantice su seguridad mientras se aprovechan sus beneficios. Esto no implicaría detener completamente el entrenamiento o el progreso técnico, sino asegurar que las empresas tomen el tiempo adecuado para alinear y proteger sus modelos y permitir evaluaciones independientes.
A pesar del desafío regulatorio, Amodei instó a las empresas a colaborar voluntariamente para establecer estándares paralelos a las regulaciones gubernamentales. También advirtió sobre el impacto potencialmente negativo que una desaceleración podría tener en la competencia internacional, especialmente frente a China.
Reacciones diversas ante propuestas cautelosas
“Si desacelerar nos da incluso un año o dos antes de alcanzar niveles críticos de capacidad y usamos ese tiempo para avanzar en alineación, podríamos reducir significativamente el riesgo”, afirmó Amodei. Sin embargo, subrayó que cualquier desaceleración debe hacerse sin sacrificar ventajas comerciales ni permitir que China tome ventaja.
El CEO también pidió al gobierno estadounidense medidas para evitar que los chips utilizados por empresas estadounidenses sean vendidos o compartidos con países autoritarios. Las propuestas han suscitado reacciones variadas; Clement Delangue, CEO del AI platform Hugging Face, anunció un nuevo proyecto llamado Open Alignment Initiative y expresó su deseo por ser uno de los “evaluadores integrados” propuestos por Amodei.
Si (
No(
Traductor
