En un esfuerzo por reforzar la seguridad antes del lanzamiento de sus modelos más potentes, OpenAI ha iniciado la búsqueda de un nuevo Jefe de Preparación (Head of Preparedness). Según se observa en la búsqueda de trabajo publicada por la misma empresa, este puesto clave tiene la misión crítica de predecir, evaluar y mitigar los daños potenciales que la inteligencia artificial avanzada podría causar a la humanidad.
Misión: Prevenir el «Día del Juicio Final» Tecnológico
El equipo de Preparación actúa como una línea de defensa interna que pone a prueba los modelos antes de que lleguen al público.
Responsabilidades del nuevo puesto:
- Evaluación de Riesgos Catastróficos: Identificar si un modelo tiene la capacidad de ayudar en la creación de armas químicas o biológicas, o si posee habilidades de ciberseguridad ofensiva.
- Monitoreo de la «Autonomía de la IA»: Evaluar si los modelos pueden engañar a los humanos o actuar de manera independiente para eludir controles de seguridad.
- Pruebas de «Red Teaming»: Coordinar ataques simulados contra los propios sistemas de OpenAI para encontrar vulnerabilidades antes de que lo hagan actores malintencionados.
- Frenado de Emergencia: El Jefe de Preparación tiene la autoridad de recomendar la detención del despliegue de un modelo si los riesgos superan los umbrales de seguridad establecidos por la compañía.
¿Por qué ahora?
Este movimiento ocurre tras la salida de varios expertos en seguridad (incluyendo a Ilya Sutskever y Jan Leike) que expresaron su preocupación por el hecho de que OpenAI estaba priorizando el lanzamiento de productos comerciales por encima de la seguridad a largo plazo. Con la llegada de modelos como Sora y las futuras versiones de GPT, la empresa busca recuperar la confianza de los reguladores y el público.
El Marco de Seguridad de OpenAI
La empresa ha formalizado un «Cuadro de Mando de Riesgos» que clasifica las amenazas en cuatro niveles: Bajo, Medio, Alto y Crítico. Bajo estas reglas, OpenAI se compromete a no lanzar ningún modelo que alcance un nivel de riesgo «Alto» o superior en cualquiera de las categorías evaluadas.
infosertecla.com 