Dario Amodei propuso evaluadores independientes con acceso interno, coordinación entre las principales empresas del sector y hasta cierta cooperación con China, mientras Sam Altman y Elon Musk respaldaron públicamente la idea. (Fuente: TechCrunch)
Venimos viendo advertencias cada vez más graves de investigadores de IA sobre los peligros de la inteligencia artificial, incluidos comentarios del CEO de OpenAI, Sam Altman, sobre que podría ser momento de desacelerar el desarrollo de la IA. Pero, ¿cómo se vería eso en la práctica? En una nueva publicación de blog, el CEO de Anthropic, Dario Amodei, no solo se sumó al llamado a marcar el ritmo de la frontera, sino que también delineó tres estrategias generales para lograrlo, y dijo que Anthropic se está comprometiendo unilateralmente con una de ellas, con Altman sumándose para decir que OpenAI va a seguir el mismo camino.
El debate sobre seguridad y alineación de la IA se intensificó esta semana después de que el investigador Jacob Coxon escribiera que renunciaba a Anthropic por su preocupación de que las principales empresas de IA están jugando con nuestras vidas mientras la gente que construye la tecnología cree genuinamente que podría matarnos a todos antes de que termine la década, una afirmación que otros en Anthropic repitieron.
La publicación de Amodei no menciona explícitamente la renuncia de Coxon ni sus preocupaciones, pero el CEO escribió que dos cosas lo convencieron de que es momento de adoptar un enfoque más cauteloso frente al desarrollo de la IA: el hackeo entre OpenAI y Hugging Face, y el hecho de que la IA viene avanzando drásticamente más rápido en los últimos meses, particularmente en su creciente capacidad para construir la próxima generación de IA. Amodei escribió que tienen que reducir el ritmo al que mejoran las capacidades de los modelos de IA, que el progreso todavía va a parecer rápido, y que tienen que hacer un uso sabio del tiempo que ganen.
Otros ejecutivos de IA parecen haber reaccionado positivamente a la publicación de Amodei: Altman escribió que está de acuerdo con Dario en que necesitan marcar el ritmo de la frontera, y que este viene siendo un tema principal de conversación en OpenAI en las últimas semanas. El CEO de SpaceX, Elon Musk, publicó que Dario tiene razón.
El primer paso que propone Amodei implica sumar evaluadores incorporados de organizaciones externas como METR, capaces de verificar que las empresas de IA realmente están cumpliendo sus compromisos de ritmo y seguridad, y de garantizar que los incidentes de seguridad se reporten (OpenAI había recibido críticas recientemente por no reportar un incidente en el que sus agentes de IA tomaron control de un foro wiki alemán). Amodei comparó a estos evaluadores con los reguladores que ya trabajan integrados con empleados bancarios, y dijo que invitarlos es algo con lo que Anthropic se está comprometiendo unilateralmente, y le pide a los gobiernos que exijan lo mismo a otras empresas de frontera. Eso implica darles a esos evaluadores credenciales de la empresa, escritorios y laptops, y otorgarles un acceso en gran medida comparable al que tienen los equipos internos de evaluación de riesgo. Altman también calificó esto como una buena idea y dijo que OpenAI va a hacer lo mismo.
Después, Amodei pidió que las principales empresas de IA dentro de países democráticos coordinen estándares de seguridad comunes, además de límites a la velocidad del progreso descontrolado de la IA. Esa coordinación podría parecer poco probable, porque estas empresas estarían preocupadas de que una pausa coordinada genere escrutinio antimonopólico. Amodei hizo referencia a esa preocupación en su publicación, escribiendo que por motivos antimonopólicos resulta útil que el gobierno de Estados Unidos medie o al menos habilite estas conversaciones, sin necesidad de participar, aunque sí tendría que emitir una excepción acotada para cierto tipo de conversaciones sobre seguridad.
Amodei también reconoció el fantasma de la dominancia china en IA, que suele mencionarse como argumento en contra de desacelerar el desarrollo. Pero dijo que si el gobierno de Estados Unidos y las empresas tecnológicas toman medidas como negarse a venderle chips potentes o equipos de fabricación de semiconductores a empresas chinas, además de endurecer los controles contra la destilación de modelos, podrían desacelerar el progreso de China lo suficiente como para ampliar significativamente la ventaja de Estados Unidos durante los próximos 3 a 5 años.
Por último, Amodei pidió coordinación global, donde Estados Unidos y sus aliados intenten coordinar con gobiernos autoritarios, en la medida en que esto sea posible. Amodei dijo que esto implicaría cooperación con China, y admitió que existen límites marcados sobre lo que se puede lograr, aunque igual sugirió que podría haber oportunidades de acuerdo, aunque sea solo para prohibir ciertos usos específicos y obviamente peligrosos de la IA, como usarla para la producción de armas biológicas o permitir que los usuarios lo hagan.
Dada la disposición previa de Amodei a reconocer los peligros potenciales de la IA, y la apertura relativa de la compañía a ciertas formas de regulación, algunos entusiastas de la IA ya lo criticaron como un agorero cuyos comentarios alimentan el rechazo actual hacia la IA. En respuesta, Amodei dijo que intentó ofrecer una perspectiva equilibrada y argumentó que ese rechazo es fundamentalmente una crisis de confianza, a medida que la gente se vuelve escéptica de las empresas tecnológicas, la industria en general y el gobierno.
Críticos de la industria también se mostraron escépticos frente a este tipo de advertencias apocalípticas sobre la IA, sugiriendo que son una distracción del daño que la tecnología ya está causando. El periodista Brian Merchant, por ejemplo, escribió que todavía no vio una documentación creíble, paso a paso, de cómo exactamente la IA podría pasar de mejorarse a sí misma de forma autorrecursiva a matar a cada persona en el planeta, y sugirió que propuestas similares a la de Amodei probablemente terminarían beneficiando únicamente a Anthropic y OpenAI, en lo que sería un caso de captura regulatoria en acción.
En su nueva publicación, Amodei escribió que sigue creyendo que la IA puede mejorar enormemente la calidad de vida humana, que su deseo de lograr esos beneficios sigue intacto, pero que esos beneficios solo se van a lograr si construyen la tecnología de la manera correcta, y que, mientras usen bien el tiempo que ganen, vale la pena tomar un cuidado inusualmente deliberado para hacerlo bien.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Conocé nuestro proceso editorial.
Descubre más desde
Suscríbete y recibe las últimas entradas en tu correo electrónico.