Científicos de empresas líderes en inteligencia artificial como Google DeepMind, OpenAI, Amazon, Anthropic y Meta han advertido que pronto podríamos perder la capacidad de comprender cómo razona la IA.
En un documento publicado en arXiv, más de 40 expertos proponen intensificar la investigación sobre métodos para supervisar modelos avanzados, especialmente aquellos que utilizan lenguaje humano para razonar.
El grupo sugiere monitorear de forma activa las llamadas “cadenas de pensamiento” (CdP) de estos sistemas, es decir, los pasos que siguen al procesar información y tomar decisiones. Esta estrategia permitiría detectar señales de comportamientos dañinos antes de que ocurran.
Según explican, “los modelos de IA que piensan en lenguaje natural ofrecen una oportunidad única para mejorar la seguridad: podemos observar sus procesos internos para identificar intenciones incorrectas”.
Aunque reconocen que esta técnica no es infalible y algunos comportamientos inapropiados podrían pasar desapercibidos, consideran que es una vía prometedora.
Por ello, recomiendan seguir investigando y desarrollando esta forma de monitoreo, en conjunto con otros enfoques de seguridad existentes. El objetivo es prevenir riesgos antes de que los sistemas se vuelvan demasiado complejos o autónomos para ser comprendidos y controlados.
Los científicos recomiendan:
“Esto ofrece una oportunidad única para la seguridad de la IA: la monitorización de la cadena de pensamiento. Un monitor de cadena de pensamiento (CdP) es un sistema automatizado que lee la CdP de un modelo de razonamiento y otra información relevante, y señala interacciones sospechosas o potencialmente dañinas. Estas respuestas podrían entonces bloquearse, reemplazarse por acciones más seguras o revisarse con mayor profundidad”.
Por qué monitorizar las cadenas de pensamiento de la IA
Los científicos destacan dos razones principales por las cuales es importante monitorear las cadenas de pensamiento (CoT) en los modelos de inteligencia artificial:
- Necesidad de razonar en voz alta: En ciertas tareas, los modelos deben externalizar su razonamiento en lenguaje natural porque no pueden completarlas sin hacerlo. Si las conductas más peligrosas requieren procesos de pensamiento complejos expresados en lenguaje, esto permitiría detectar comportamientos inapropiados con mayor fiabilidad.
- Tendencia natural a razonar en voz alta: Incluso cuando no es estrictamente necesario, muchos modelos tienden a “pensar en voz alta”. Aunque esta tendencia no es completamente confiable, el monitoreo de estas cadenas de pensamiento puede ayudar a identificar conductas indebidas que podrían pasar desapercibidas con otros métodos.
Qué son las cadenas de pensamiento de la IA
Las cadenas de pensamiento (en inglés chains of thought o CdP) son una técnica en inteligencia artificial que permite a los modelos de lenguaje, como ChatGPT, “pensar en voz alta” antes de llegar a una respuesta final. Es decir, en lugar de dar una respuesta directa, el modelo genera una secuencia de pasos intermedios que reflejan su proceso de razonamiento.
¿Cómo funcionan?
Cuando se utiliza una cadena de pensamiento, el modelo:
- Descompone un problema complejo en pasos más pequeños.
- Explica su lógica paso a paso.
- Llega a una conclusión basada en ese razonamiento.
Por ejemplo, ante la pregunta: “Si María tiene 3 manzanas y compra 2 más, ¿cuántas tiene en total?”, una IA con cadena de pensamiento podría responder:
“María comienza con 3 manzanas. Luego compra 2 más.3 + 2 = 5. Por lo tanto, tiene 5 manzanas en total”.
¿Por qué son importantes?
- Facilitan la detección de errores o sesgos en el razonamiento del modelo.
- Permiten anticipar intenciones problemáticas, como decisiones maliciosas o manipuladoras, en modelos más avanzados.
- Mejoran la seguridad de la IA, porque los desarrolladores pueden revisar el pensamiento detrás de las acciones del modelo.
Quiénes son los científicos detrás de esta advertencia
Algunos de los científicos detrás de esta advertencia son:
- Joe Benton – Anthropic
- Joseph Bloom – UK AI Security Institute
- Mark Chen – OpenAI
- Alan Cooney – UK AI Security Institute
- Allan Dafoe – Google DeepMind
- Anca Dragan – Google DeepMind
- Scott Emmons – Google DeepMind
- Owain Evans – Truthful AI & UC Berkeley
- David Farhi – OpenAI
Últimas Noticias
El enemigo oculto de tu WiFi: el aparato que causa desconexiones en casa
Para reducir estos inconvenientes, lo ideal es configurar los dispositivos para que utilicen la banda de 5 GHz, ya que opera en un rango más alejado del que emite el electrodoméstico en cuestión
Koei Tecmo anuncia una remasterización: qué entrega de Dynasty Warriors será actualizada
La confirmación oficial llegó a través de la red social X, donde la compañía japonesa publicó un video conmemorativo que repasa toda la evolución de la saga de acción a lo largo de sus 25 años
Nueva opción para el baño reemplaza al papel higiénico en varios países de Europa
La tendencia principal es que los inodoros con chorro de agua, conocidos como washlets, están ganando terreno como alternativa a los métodos tradicionales de limpieza personal
Glosario de tecnología: qué significa Semiconductor
La tecnología en la vida diaria ha transformado significativamente la forma en que las personas interactúan, trabajan y se entretienen
7 celulares de gama media con mejor rendimiento en 2025
La evolución tecnológica ha permitido que estos dispositivos integren características antes exclusivas de los modelos premium
