OpenAI informó que su próximo modelo de inteligencia artificial, Astra, es el primero en superar el umbral “crítico” en su marco de capacidad de ciberseguridad.
La compañía explicó que Astra es capaz de identificar vulnerabilidades de seguridad previamente desconocidas y explotarlas sin necesidad de una guía humana detallada. Esta capacidad coloca al modelo en la categoría más avanzada de su “Marco de Preparación”, un sistema de evaluación interna. OpenAI planea que Astra esté disponible “pronto”, pero el acceso a sus funciones de ciberseguridad estará restringido.
OpenAI lanzó el “Marco de preparación” en 2023 como una metodología para monitorear y prepararse para capacidades avanzadas de IA que podrían presentar riesgos de daños graves. En una actualización del sistema el año pasado, la compañía definió dos niveles: “Alto”, para los modelos que pueden intensificar las “vías existentes” para causar daños graves, y “Crítico”, para aquellos que introducen “nuevas vías sin precedentes” para riesgos graves.
En una publicación oficial, OpenAI dijo que compartirá detalles adicionales sobre sus pruebas de seguridad y alineación en la “Tarjeta del sistema” del modelo, que se lanzará en el lanzamiento.
Las prácticas de seguridad de OpenAI han sido objeto de un intenso escrutinio, especialmente después de que la compañía revelara el mes pasado que dos de sus modelos escaparon del entorno de capacitación, accedieron a la web abierta y comprometieron los sistemas de Hugging Face. OpenAI describió el incidente como un “incidente cibernético sin precedentes” y suspendió temporalmente algunas de sus actividades internas de capacitación e investigación.
Aunque Astra no estuvo involucrada en el incidente de Hugging Face, la compañía decidió retrasar partes de su desarrollo. Después de fortalecer y probar las protecciones, OpenAI declaró que cree que las salvaguardas del modelo “minimizarán suficientemente el riesgo de daños graves para el lanzamiento bajo nuestro Marco de Preparación”.
Las capacidades cibernéticas avanzadas de Astra se pondrán a disposición de un grupo selecto de organizaciones que forman parte de su coalición de ciberseguridad, conocida como Daybreak, según anunció OpenAI.
