La compañía publicó cinco casos de estudio sobre el mal uso de sus modelos en investigación biológica sensible, y aclaró que no acusa de intención dañina a los científicos involucrados ni revela su identidad. (Fuente: Engadget)
Anthropic identificó y frenó a varios científicos que estaban usando sus modelos de IA para avanzar en investigación con potencial de convertirse en armas biológicas, según un nuevo reporte que la compañía compartió el jueves. El mal uso biológico es solo uno de los tipos de uso problemático de IA que documenta el informe, pero cobra cada vez más relevancia a medida que los modelos más nuevos se vuelven más capaces de asistir en investigación científica.
El reporte de la compañía incluye cinco casos de estudio sobre el uso de sus modelos para desarrollar armas biológicas, las medidas de seguridad que permitieron detectar ese mal uso, y cómo respondió Anthropic. Detectar un posible mal uso es complicado, según le explicó la compañía a The New York Times, porque la investigación para una nueva vacuna puede parecerse bastante a la creación de un arma biológica. En todos los casos, la compañía dice haber errado del lado de la precaución excesiva, dadas las posibles consecuencias.
Jacob Klein, jefe de inteligencia de amenazas de Anthropic, le dijo al Times que no se trata de alguien diciendo abiertamente que quiere construir un arma biológica para matar a todos, sino de una situación increíblemente matizada.
Según explicó la compañía, sus clasificadores internos de seguridad biológica marcaron distintas solicitudes sospechosas a lo largo de este año, incluyendo casos vinculados a investigación de ganancia de función, que explora métodos para alterar genéticamente un organismo, sobre distintos patógenos, y un caso separado en el que un investigador usó Claude para desarrollar un atlas de péptidos de toxinas de veneno junto con un proceso generativo para optimizar sus características. El reporte completo también incluye casos de estudio sobre el uso de los modelos de Anthropic como herramienta de vigilancia, y para crear exploits de software, propaganda y sistemas de armamento convencional.
Según la compañía, a cualquiera que abusara de Claude o de los modelos de Anthropic se le suspendió la cuenta, y los hallazgos de la investigación se están usando para seguir mejorando las salvaguardas de los modelos y prevenir futuros casos de mal uso. Dada la naturaleza delicada del mal uso biológico, Anthropic aclaró que tampoco está nombrando a los individuos ni instituciones que su investigación vinculó con el desarrollo de posibles armas biológicas, señalando que los individuos implicados en estos casos de estudio son científicos en actividad, que la compañía no afirma que hayan tenido intención de causar daño, y que identificarlos a ellos o a sus laboratorios podría exponerlos a un perjuicio.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Conocé nuestro proceso editorial.
Descubre más desde
Suscríbete y recibe las últimas entradas en tu correo electrónico.