Investigadores externos celebran el acceso sin precedentes propuesto por Dario Amodei, pero advierten que una supervisión con sentido requiere transparencia, independencia y, eventualmente, regulación. (Fuente: TechCrunch)
En un extenso ensayo publicado durante el fin de semana, el CEO de Anthropic, Dario Amodei, hizo una propuesta que la industria de la IA habría rechazado de forma instantánea incluso hace apenas un año: incorporar evaluadores externos dentro de todas las empresas de IA de frontera, dándoles el poder de reportar incidentes de seguridad, evaluar si los modelos de IA están realmente alineados, y compartir sus hallazgos sin filtros con el mundo.
Amodei dijo que Anthropic se comprometería a darles a evaluadores independientes como METR y Redwood Research un acceso sin precedentes a los sistemas de la compañía. El CEO de OpenAI, Sam Altman, dijo que OpenAI también se comprometería con esta práctica, señalando un cambio potencialmente profundo en cómo la industria trabaja con grupos de investigación externos.
Evaluadores externos consultados por TechCrunch recibieron la propuesta de forma mayoritariamente positiva, aunque dijeron que hacen falta definir detalles, idealmente respaldados por legislación, para saber si van a funcionar como verdaderos perros guardianes independientes, o como proveedores que operan bajo los términos de las empresas de IA.
Ese acceso más profundo se vuelve cada vez más importante a medida que los modelos se vuelven mejores en reconocer cuándo están siendo evaluados, lo que aumenta el riesgo de que se comporten bien durante las pruebas mientras esconden comportamientos problemáticos. Los investigadores dicen que las pistas de ese comportamiento pueden pasarse por alto al testear el modelo terminado, pero pueden descubrirse investigando cómo se comportó a lo largo de todo su entrenamiento.
Alexander Meinke, jefe de investigación en Apollo Research, le dijo a TechCrunch que las empresas de IA deberían poder responder preguntas muy básicas sobre su proceso de entrenamiento, como si la IA alguna vez intentó activamente socavar su propio entrenamiento de alineación mientras lo atravesaba. Según Meinke, la respuesta a eso debería ser un no inequívoco, y ahora mismo se depende por completo de que las empresas de IA verifiquen esto cuidadosamente por su cuenta y después lo reporten con honestidad al público, algo que, según incidentes recientes, por defecto no hacen ninguna de las dos cosas.
Históricamente, las empresas de IA traían revisores externos para testear modelos terminados poco antes de su lanzamiento. Ahora, los evaluadores consultados por TechCrunch proponen que se les dé acceso no solo al modelo final, sino a versiones intermedias, o puntos de control, de toda su vida de entrenamiento. Adam Gleave, CEO de Far.AI, dijo que los evaluadores podrían comparar esos puntos de control para determinar cuándo surgió un comportamiento preocupante, inspeccionar el entorno posterior al entrenamiento que premia a los modelos por ciertos comportamientos, y verificar transcripciones y registros de evaluación para confirmar las afirmaciones de una empresa sobre cómo se desempeñó un modelo.
Todavía no está claro si, y cuándo, Anthropic y OpenAI planean brindar ese tipo de acceso. Ninguna de las dos empresas compartió con qué evaluadores va a trabajar, cuándo van a incorporarlos, cuántos van a sumar, a qué sistemas e información exactamente van a poder acceder, o qué se puede divulgar al público, pese a preguntas repetidas de TechCrunch.
Mirar bajo el capó de esta manera importa porque los modelos que se desempeñan bien en pruebas de seguridad no son necesariamente seguros si aprendieron específicamente a aprobar esa prueba. El experto John Steidley comparó esto con el escándalo Dieselgate de Volkswagen, en el que los autos estaban programados para reconocer pruebas de emisiones y comportarse distinto bajo condiciones de testeo.
Gleave señaló que un acceso significativo podría extenderse más allá de los modelos en sí, dándoles a los evaluadores acceso para entrevistar empleados y verificar si la documentación y las descripciones públicas de las prácticas de seguridad de una empresa coinciden con lo que realmente ocurrió internamente. Amodei sí delineó una propuesta bastante integral que podría darles a los evaluadores el tipo de acceso que consideran necesario, incluido el derecho de publicar hallazgos clave sobre niveles de riesgo, incidentes, prácticas, y el acceso que recibieron o no recibieron, sin control editorial de Anthropic.
Pero los evaluadores dicen que un sistema así solo va a funcionar si las empresas de IA están realmente dispuestas a ceder control sobre el proceso. Esfuerzos anteriores de evaluación independiente sugieren que esa cesión va a costar mucho lograrla, ya que los terceros suelen chocar con tensiones sobre acceso, tiempo, confidencialidad, y qué pueden decir públicamente.
También está la pregunta de si los revisores van a conseguir suficiente tiempo y acceso para hacer el trabajo que se les pide. Al investigar el incidente de Hugging Face, OpenAI le dio a METR y a Redwood aproximadamente una semana en sitio para investigar, y ambas dijeron después que no pudieron sacar conclusiones firmes, en parte, por limitaciones de alcance y tiempo. Un problema similar ocurrió durante las pruebas previas al lanzamiento de GPT-6 Astra, con Apollo Research contando con solo tres días para testear el modelo.
Varios investigadores consultados por TechCrunch pidieron un marco transparente que todos acuerden hacer público, incluyendo estándares sobre qué tipo de auditores pueden usar las empresas, para evitar que intenten esquivar el problema eligiendo evaluadores que no estén calificados o que no estén interesados en evaluar los riesgos más preocupantes. Otros advirtieron que, incluso con un marco público, el problema es que las medidas voluntarias siempre dependen de la buena voluntad de una empresa, y que idealmente haría falta una regulación real que obligue a esto, porque de lo contrario las compañías pueden cambiar de opinión de un día para el otro frente a una crisis de relaciones públicas.
No todos se sumaron: hasta ahora, Meta, SpaceXAI y Google DeepMind no se comprometieron a incorporar evaluadores externos, aunque el CEO de DeepMind, Demis Hassabis, propuso un organismo de estándares de la industria separado para testear modelos de frontera de forma independiente. Google, OpenAI y Anthropic también vienen conversando en privado sobre planes de seguridad de IA desde hace semanas.
Ya empiezan a formarse algunas leyes en torno a la idea de evaluadores externos. La SB 53 de California, firmada el año pasado, exige que los grandes desarrolladores de IA de frontera publiquen marcos de seguridad y reporten incidentes críticos. Una nueva ley, la SB 813, firmada este mes, crea un marco para organizaciones de verificación independiente reconocidas por el estado. En Europa, la Ley de IA de la UE exige que los desarrolladores de frontera realicen y documenten evaluaciones de modelos y pruebas adversariales, y reporten incidentes graves.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Conocé nuestro proceso editorial.