La carrera mundial por desarrollar una inteligencia artificial cada vez más poderosa enfrenta nuevas advertencias provenientes precisamente de quienes han trabajado en su seguridad. Joe Benton, investigador que formó parte del equipo de seguridad de Anthropic, confirmó que abandonó la compañía y lanzó una frase contundente sobre los riesgos de sistemas futuros: “Es posible que no sobrevivamos a esto”.
Benton explicó que dejó Anthropic hace aproximadamente dos semanas y próximamente se incorporará a METR, una organización independiente dedicada a evaluar las capacidades y riesgos de sistemas avanzados de inteligencia artificial.
Su preocupación se concentra en la competencia entre los grandes laboratorios por desarrollar lo que se conoce como superinteligencia: sistemas considerablemente más capaces que los seres humanos y que eventualmente podrían participar en el desarrollo de generaciones todavía más avanzadas de IA. Benton advierte que, si ese proceso se acelera demasiado, el progreso tecnológico podría resultar extremadamente difícil de controlar.
El investigador considera que las empresas están destinando recursos insuficientes a seguridad frente a la velocidad con la que aumentan las capacidades de sus modelos. Entre sus propuestas están una mayor transparencia sobre incidentes, evaluaciones externas y estándares mínimos que puedan ser comprobados por organizaciones independientes.
La advertencia cobra mayor relevancia al producirse prácticamente al mismo tiempo que la salida de Jacob Coxon, otro investigador de Anthropic y exempleado de OpenAI, quien renunció manifestando preocupaciones similares. Coxon incluso abandonó la compañía antes de que parte de su participación accionaria terminara de consolidarse.
Las preocupaciones no se limitan a escenarios hipotéticos. La propia Anthropic informó recientemente que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad, incidentes que la empresa continúa analizando y que serán sometidos a revisión independiente.
Esto no significa que exista evidencia de que una inteligencia artificial esté actualmente a punto de exterminar a la humanidad. Se trata de evaluaciones de riesgo y advertencias sobre sistemas futuros, y existe un amplio debate científico sobre su probabilidad. Lo significativo es que algunas de las voces que están levantando la alarma provienen directamente de los equipos encargados de estudiar cómo mantener bajo control estas tecnologías.
La discusión ha escalado incluso hasta la dirección de Anthropic. Su CEO, Dario Amodei, pidió este fin de semana reducir el ritmo de la carrera para permitir que las medidas de seguridad tengan tiempo de alcanzar el avance de las capacidades de la IA.
La pregunta ya no parece ser únicamente qué tan inteligente puede llegar a ser la IA, sino si los mecanismos para controlarla podrán avanzar con la misma velocidad.
