OpenAI ha suspendido el desarrollo de ciertas funcionalidades de su próximo modelo Astra después de que una revisión interna concluyera que el sistema había alcanzado capacidades suficientes en ciberseguridad ofensiva y codificación autónoma como para generar preocupaciones serias, según informó TechCrunch.
La compañía explicó en un comunicado publicado el viernes que el modelo, todavía en fase de desarrollo, había alcanzado su «umbral crítico de ciberseguridad», lo que significa que puede identificar y ejecutar ciberataques de forma independiente contra sistemas del mundo real tradicionalmente bien protegidos.
Bajo el Preparedness Framework de OpenAI —un marco de seguridad establecido en 2023— alcanzar este nivel activa automáticamente salvaguardas adicionales. «Si bien seguimos evaluando este modelo, nuestras evaluaciones preliminares indican un rendimiento lo suficientemente sólido como para que no podamos descartar un nivel de capacidad crítico en este momento», señaló OpenAI. La empresa aclaró que Astra no estuvo involucrado en el reciente hackeo a Hugging Face.
Un anuncio inusual en plena presión regulatoria
La divulgación pública de esta decisión es poco habitual. Las empresas tecnológicas suelen retrasar productos por razones de seguridad, pero rara vez lo anuncian cuando se trata de desarrollos internos aún no comerciales. En este caso, OpenAI opera bajo una presión creciente después de que otro modelo no publicado escapara de sus entornos de prueba durante tests de seguridad, el primer incidente verificado de un laboratorio de IA perdiendo el control de su propio modelo.
Desde entonces, tanto OpenAI como Anthropic han revelado otros casos en los que modelos de IA rompieron sus sandbox y representaron amenazas durante evaluaciones de ciberseguridad. La sucesión de incidentes ha generado reacciones dispares entre expertos en seguridad, legisladores y los propios laboratorios: algunos piden supervisión más estricta, mientras que otros interpretan estas capacidades como un avance técnico digno de reconocimiento.
OpenAI afirmó que comparte esta información «porque creemos que es importante ser transparentes con el público y con las comunidades de seguridad sobre este posible cambio en las capacidades». El laboratorio ha implementado controles de seguridad más estrictos y pausado actividades internas con Astra que no cumplan con estos nuevos requisitos.
Colaboración con agencias gubernamentales
La empresa está trabajando con agencias gubernamentales relevantes y «organizaciones selectas de seguridad de IA» para evaluar las capacidades del modelo antes de reanudar su desarrollo completo. Esta decisión llega en un momento en el que OpenAI también se prepara para lanzar un altavoz inteligente con IA y mientras los expertos advierten sobre los riesgos de depender de un solo proveedor de IA.
