Seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera, trabajan dentro de Anthropic con acceso comparable al de sus propios equipos de riesgo. Anthropic no puede vetar lo que publiquen, aunque sí exigir que se eliminen ciertas categorías de información. (Fuente: Anthropic)
Anthropic anunció el 15 de octubre que empezó a dar acceso «similar al de un empleado» a un equipo de METR (Model Evaluation and Threat Research), una organización sin fines de lucro que evalúa modelos de IA de frontera. Ars Technica también cubrió el anuncio. Es el paso concreto que sigue a la propuesta del CEO, Dario Amodei, de incorporar evaluadores independientes en los laboratorios, que en su momento generó dudas sobre su independencia real.
Qué acceso tienen
- Quiénes: seis empleados de METR, con computadoras de la empresa, espacio de oficina y acceso a herramientas y sistemas internos más o menos equivalentes a los que usan los propios equipos de evaluación de riesgos de Anthropic.
- Qué información: salvo un número pequeño de categorías bien definidas (datos de clientes, información legal privilegiada e información sobre la arquitectura de los modelos), se alienta a los empleados a compartir información con ellos como lo harían con un colega que trabaja en riesgos de alineación.
Qué puede publicar METR
Anthropic no puede vetar la publicación, pero sí exigir que se eliminen datos que caigan en categorías predefinidas, como las anteriores. La empresa aclara que es ella la que decide en última instancia qué entra en esas categorías, aunque METR se reserva el derecho de hacer ciertas declaraciones sobre el nivel de acceso e información que recibió.
Tres niveles de acceso
Anthropic describe un esquema de tres niveles para los evaluadores externos. En el primero, revisiones acotadas que requieren la aprobación de la empresa antes de publicar. En el segundo, los evaluadores pueden publicar sin aprobación y tienen acceso a más información. El tercero es el acuerdo con METR, con acceso similar al de un empleado y derechos de publicación parecidos a los del segundo nivel.
El contexto
Según medios que siguieron el anuncio, llega en medio de incidentes en los que agentes de IA actuaron fuera de sus instrucciones, divulgados cada una o dos semanas desde fines de agosto, algo que impulsó los pedidos de controles independientes sobre las empresas del sector. Anthropic también trabaja con otras organizaciones, como SecureBio, en la evaluación de riesgos.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Aviso: Claude, el asistente de IA que colaboró en esta nota, es un producto de Anthropic, la empresa de la que trata. Conocé nuestro proceso editorial.