El llamado del CEO de Anthropic a desacelerar el desarrollo se suma a la renuncia de otro investigador de seguridad y a comentarios de Sam Altman sobre postergar la salida a bolsa de OpenAI. (Fuente: Associated Press / SecurityWeek)
El CEO de Anthropic dijo el sábado que la industria de la inteligencia artificial debería desacelerar su desarrollo, que avanza a gran velocidad, para darle tiempo a las medidas de seguridad de ponerse al día. Sin esa desaceleración, Dario Amodei advirtió que dentro de 6 a 12 meses la IA podría ser capaz de liderar un enjambre de agentes capaz de tomar control de todo internet.
La advertencia llega mientras crece la preocupación por la IA tanto dentro como fuera de la industria, y siguen apareciendo reportes sobre sistemas cada vez más potentes que resuelven problemas más allá de la capacidad humana, pero que también podrían descontrolarse y llevar adelante otras tareas más dañinas. La preocupación se volvió tan fuerte que el CEO de OpenAI, la empresa detrás de ChatGPT, dijo en una entrevista con Fortune que su compañía va a esperar hasta el año que viene para empezar a vender sus acciones a inversores en Wall Street, mientras se enfoca en seguridad.
Amodei, una de las voces más influyentes en IA, ofreció un plan en una publicación en su sitio web para aumentar los controles sobre la industria. Dijo que Anthropic ya está avanzando por su cuenta con una parte de ese plan, mientras que las demás requerirían coordinación en toda la industria y con gobiernos de todo el mundo, incluidos gobiernos autoritarios. Amodei dijo que cree que si desacelerar les comprara aunque sea un año o dos extra antes de que los modelos alcancen niveles críticos de capacidad, y usaran ese tiempo para avanzar en alineación, podrían reducir enormemente el riesgo de que algo salga gravemente mal.
Organismos de control vienen instando a la industria de la IA durante años a desacelerar su desarrollo por motivos de seguridad. Pero la presión se intensificó a medida que trabajadores de la industria renuncian y acusan a sus empresas de no actuar con responsabilidad. Joe Benton, un exempleado de Anthropic, dijo el viernes en una publicación donde anunciaba su renuncia a un puesto dentro de un equipo de seguridad que muchas de las personas que conoce que trabajan en investigación de seguridad en empresas de IA quieren hacer lo correcto para el mundo, pero sienten que sus empresas están atrapadas en una carrera para construir superinteligencia: o se detienen y otras personas menos concienzudas ocupan su lugar, o continúan, y arriesgan participar ellos mismos en un daño enorme.
Eso se sumó a una renuncia de alto perfil a comienzos de esta semana, la de Jacob Coxon, quien dijo que tanto Anthropic como OpenAI están corriendo directo hacia una superinteligencia autorrecursiva y jugando con nuestras vidas. Eso encendió la mecha en la industria después de años de preocupación creciente por una posible superinteligencia que pudiera escapar del control de la humanidad, dijo Anthony Aguirre, presidente y CEO del Future of Life Institute, que ya había pedido una pausa de seis meses para el desarrollo de la industria en 2023. Aguirre dijo que se dieron cuenta, sus propios empleados se dieron cuenta, todo el mundo se dio cuenta de que están construyendo Skynet, y que en la carrera hacia Skynet, nadie gana.
Anthropic había dicho dos días antes que bloqueó intentos de actores maliciosos de usar sus modelos de IA para actividades dañinas, como ciberataques, vigilancia e investigación que podría haber derivado en armas biológicas. En julio, OpenAI ya había sacudido a la industria al decir que su sistema de IA hackeó por su cuenta a otra empresa en lo que calificó de incidente cibernético sin precedentes. El Alto Comisionado de la ONU para los Derechos Humanos, Volker Türk, había instado esta semana a los países a poner en marcha garantías inquebrantables en torno a la seguridad de la IA antes de que sea demasiado tarde.
Algunos críticos, de todas formas, descartaron este tipo de advertencias como una forma de generar entusiasmo en torno a la industria de la IA y sus capacidades: Anthropic y OpenAI se preparan para posibles debuts en el mercado bursátil que podrían valuarlas en cientos de miles de millones de dólares, mientras que buena parte del negocio de SpaceX de Elon Musk está vinculado a la IA.
El CEO de OpenAI, Sam Altman, dijo en una entrevista con Fortune publicada el sábado que su compañía no va a lanzar su oferta pública inicial de acciones este año, y que tienen mucho trabajo por hacer, como estar a la altura de este momento en cuanto a lo que va a requerirse para la seguridad y la alineación, y cómo la industria y los gobiernos pueden trabajar juntos. Altman publicó en X apenas Amodei difundió sus sugerencias, diciendo que OpenAI se va a comprometer con una de las propuestas de Amodei sobre seguridad y que va a tener más para compartir pronto. Musk, por su parte, dijo en X que Dario tiene razón.
Amodei dijo que sigue creyendo en los enormes beneficios que la IA podría generar, como curas para enfermedades importantes. Pero dijo que se volvió más preocupado en los últimos meses por la creciente capacidad de la IA para mejorarse a sí misma y construir la próxima generación de IA, y que sin control podría superar la capacidad humana de entender y controlar estos sistemas, por lo que debe perseguirse con muchísimo cuidado, si es que se persigue. También señaló específicamente el ataque de julio en el que el sistema de OpenAI hackeó a Hugging Face. Algunos lo llamaron un ejemplo de IA descontrolada, aunque investigadores dijeron que eso podría estar antropomorfizando innecesariamente a la IA, que estaba trabajando en un objetivo fijado por humanos.
Para ayudar a controlar los riesgos, Amodei sugirió que todas las empresas en la frontera de la IA se comprometan a darle acceso continuo, similar al de un empleado, a un equipo de evaluadores externos, que puedan monitorear las prácticas de seguridad. Dijo que Anthropic ya planea hacerlo, incluyendo ofrecer escritorios en sus oficinas, credenciales de acceso y laptops de la empresa. Contar con este tipo de evaluadores independientes e incorporados es justamente lo que Altman, de OpenAI, también se comprometió rápidamente a hacer.
Las otras partes del plan sugerido por Amodei podrían ser más difíciles de implementar. Una le pide al gobierno de Estados Unidos que emita potenciales exenciones que les permitan a las empresas de IA de ese país coordinar y fijar estándares de seguridad sin infringir las leyes antimonopólicas. Otra le pide a Estados Unidos y otros gobiernos democráticos que intenten coordinar con gobiernos autoritarios, para que las empresas de China y otros países no aceleren sus esfuerzos mientras los rivales estadounidenses marcan intencionalmente el ritmo de los suyos. Amodei reconoció que las medidas que propone para avanzar la frontera a un ritmo seguro no van a ser fáciles, pero dijo que cree que se lo deben a la humanidad intentarlo.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Conocé nuestro proceso editorial.