DeepMind presenta su plan de seguridad para la inteligencia artificial del futuro

La seguridad en el desarrollo de inteligencia artificial general (AGI) se ha consolidado como una prioridad para la comunidad tecnológica internacional. DeepMind Safety Research, a través de una publicación en Medium, ha presentado su enfoque para anticipar y mitigar los riesgos asociados a la AGI, con el objetivo de evitar daños graves a la humanidad.

La propuesta subraya la importancia de actuar de forma preventiva, diseñando estrategias de seguridad antes de que aparezcan los riesgos, ante un escenario donde el avance de la inteligencia artificial podría acelerarse en los próximos años.

El equipo de DeepMind Safety Research sostiene que la AGI representa una tecnología transformadora, capaz de generar grandes beneficios, pero también riesgos severos. Su enfoque es exploratorio y adaptable, partiendo de la premisa de que no existen límites fundamentales para las capacidades de la IA. Esto obliga a prepararse ante posibles escenarios en los que los sistemas superen ampliamente las habilidades humanas.

Además, consideran plausible que sistemas avanzados puedan desarrollarse incluso antes de 2030, lo que refuerza la urgencia de implementar medidas de seguridad que puedan integrarse rápidamente en los procesos actuales de aprendizaje automático.

La estrategia de DeepMind prioriza los riesgos que pueden anticiparse y mitigarse con herramientas disponibles en el corto plazo. Entre los principales peligros identificados, aparecen el mal uso y la desalineación de los sistemas de IA.

El mal uso implica situaciones en las que el usuario emplea la IA para causar daño, como cuando un sistema asiste a un atacante a vulnerar infraestructuras críticas. La desalineación, en cambio, surge cuando la IA actúa en contra de los objetivos definidos por sus desarrolladores, llegando a engañar a los supervisores humanos.

DeepMind considera estos dos riesgos como centrales, los cuales pueden abordarse con prácticas de ingeniería estándar o requieren soluciones institucionales más allá del alcance técnico inmediato.

Para enfrentar el mal uso, DeepMind Safety Research ha desarrollado el Frontier Safety Framework, que evalúa las capacidades potencialmente peligrosas de los modelos y establece medidas de seguridad y despliegue cuando corresponde. Este marco incluye evaluaciones para determinar si un modelo tiene habilidades que podrían facilitar daños graves. Si se identifican estas capacidades, se aplica un entrenamiento adicional para evitar que el modelo cumpla solicitudes dañinas, supresión de capacidades peligrosas y restricción del acceso a usuarios verificados.

También se ponen en marcha sistemas de monitoreo para detectar intentos de uso indebido y se añaden salvaguardas contra robos o accesos no autorizados. El proceso se complementa con pruebas de estrés, donde equipos especializados intentan romper las defensas del sistema para fortalecer las barreras de protección.

Respecto a la desalineación, la propuesta de DeepMind se basa en dos líneas de defensa. La primera busca garantizar que el modelo cumpla los objetivos mediante supervisión amplificada, donde la propia IA ayuda a los humanos a evaluar la calidad de las respuestas.

Por ejemplo, dos instancias del modelo pueden enfrentarse para detectar y explicar errores ante un juez humano, lo que facilita una supervisión más efectiva. El entrenamiento robusto amplía el espectro de situaciones consideradas, usando técnicas como el aprendizaje activo y la formación adversarial automatizada para minimizar comportamientos indeseados más allá del entorno de entrenamiento.

La segunda línea de defensa pone el foco en reducir los daños si el modelo resulta desalineado. Inspirados en la seguridad informática, los investigadores proponen tratar a la IA como un “insider” no confiable, aplicando controles de acceso, detección de anomalías, registros y auditorías. El monitoreo jerárquico permite que los casos más sospechosos sean revisados por modelos más avanzados, y la interpretabilidad resulta fundamental para entender el funcionamiento interno del sistema y descubrir intentos de engaño o errores en el razonamiento.

DeepMind Safety Research reconoce que el enfoque técnico es solo una parte de la solución. La gobernanza y la cooperación entre desarrolladores de IA resultan esenciales para evitar que la competencia deteriore los estándares de seguridad.

Además, el documento publicado en Medium advierte que los riesgos estructurales, emergentes de la interacción entre múltiples agentes o sistemas, requieren respuestas personalizadas y la creación de nuevas normas institucionales, por lo que exceden las mitigaciones técnicas inmediatas.

El equipo de DeepMind subraya que se trata de una agenda de investigación en evolución, abierta a la incorporación de nuevas ideas y evidencias a medida que el campo avanza. Invitan a la comunidad científica a sumarse a este esfuerzo colectivo, convencidos de que solo con colaboración será posible alcanzar los beneficios de una AGI segura para la sociedad.