El videojuego Super Mario Bros, lanzado en 1985 por Nintendo, se ha convertido en un inesperado campo de pruebas para los modelos de inteligencia artificial (IA), tras un estudio que muestra las fortalezas y debilidades de estas tecnologías al enfrentarse a un entorno de videojuego dinámico.
El experimento, realizado por el Hao AI Lab de la Universidad de California en San Diego, tuvo como objetivo medir la capacidad de los modelos de IA para adaptarse a un entorno en tiempo real.
Para llevar a cabo las pruebas, los investigadores no utilizaron la versión original de Super Mario Bros, sino un emulador modificado en conjunto con el framework GamingAgent. Este sistema facilitaba la interacción de los modelos de IA con el juego, proporcionando instrucciones básicas y capturas de pantalla en tiempo real del entorno virtual.
GamingAgent permitía a los modelos de IA recibir indicaciones, como “si hay un obstáculo o enemigo cerca, muévete o salta a la izquierda para esquivarlo”, lo que les ofrecía un medio para interactuar con el videojuego de manera más efectiva.
El uso de este framework destacó las diferencias entre los modelos evaluados, ya que algunos demostraron una mayor capacidad para interpretar instrucciones y reaccionar de forma efectiva en tiempo real. En este sentido, la habilidad para procesar y responder rápidamente a los estímulos del juego resultó ser un factor decisivo en los resultados obtenidos.
El tiempo de respuesta: un factor determinante
Uno de los descubrimientos más importantes del experimento fue el impacto del tiempo de respuesta en el rendimiento de los modelos de IA. Los sistemas que utilizan procesos de “razonamiento”, como o1 de OpenAI, mostraron un rendimiento inferior en comparación con aquellos que podían tomar decisiones rápidamente.
Esto se debió a que los modelos más lentos requerían varios segundos para llegar a una conclusión, mientras que en Super Mario Bros, las decisiones deben tomarse en fracciones de segundo para evitar obstáculos o enemigos.
Este hallazgo subraya la necesidad de desarrollar sistemas de IA que sean más ágiles en su toma de decisiones, especialmente en áreas donde las respuestas rápidas son cruciales, como la conducción autónoma o la robótica. La habilidad para tomar decisiones inmediatas, sin demoras significativas, es esencial no solo para los videojuegos, sino también para muchas aplicaciones prácticas del mundo real.
Los resultados del estudio destacaron al modelo Claude 3.7 de Anthropic como el sistema más eficiente entre los evaluados, superando incluso a su predecesor, Claude 3.5. Sin embargo, otros modelos reconocidos como GPT-4 de OpenAI y Gemini 1.5 Pro de Google enfrentaron dificultades significativas al intentar dominar el juego.
La discrepancia en el rendimiento entre los modelos más avanzados y Super Mario Bros sugiere que las habilidades requeridas para superar este tipo de desafíos no están plenamente desarrolladas en algunos de los sistemas más sofisticados.
El estudio reveló que, aunque los modelos como GPT-4 son conocidos por su capacidad de realizar tareas complejas, su desempeño en un entorno como el de Super Mario Bros, que requiere respuestas rápidas y adaptación constante, pone en evidencia sus limitaciones. Estos modelos, aunque potentes en muchos aspectos, no siempre logran alcanzar el nivel de habilidad requerido en un entorno interactivo como el de un videojuego de plataformas.
Los videojuegos como herramientas de evaluación de IA
El uso de videojuegos como herramienta para evaluar la IA no es una novedad. Sin embargo, el caso de Super Mario Bros ha reavivado el debate sobre la validez de estas pruebas. Algunos expertos han cuestionado si los resultados obtenidos en estos entornos virtuales son realmente representativos del avance de la inteligencia artificial.
Andrej Karpathy, investigador en OpenAI, expresó en una publicación en redes sociales que no está seguro de qué métricas utilizar para medir el progreso de los modelos actuales.
A pesar de las críticas, los investigadores del Hao AI Lab defienden el uso de videojuegos como un entorno accesible y controlado para evaluar las capacidades de los sistemas de IA. Super Mario Bros ofrece desafíos que requieren una combinación de habilidades, como la toma de decisiones rápidas, la adaptación al entorno y la planificación estratégica, lo que lo convierte en una herramienta valiosa para este tipo de análisis.
ultimas
Generación Z engaña a los jefes con el ‘task masking’: qué es y cómo lo usan en la oficina
La popularidad de esta técnica ha sido impulsada en redes sociales, donde varios influencers abiertamente cuentan cómo logran efectuarla en sus entornos laborales
Shrek 5 en polémica como Sonic: la tecnología usada para su animación trajo problemas a DreamWorks
Los fanáticos del erizo azul lograron que se retrasara el lanzamiento de Sonic en 2019 y que el personaje fuera rediseñado, tras la recepción negativa del primer adelanto
Cuánto cuesta ethereum hoy 6 de marzo: la criptomoneda muestra signos de recuperación
Ethereum fue lanzada en 2015 por el programador Vitalik Buterin, con la intención de impulsar una herramienta para aplicaciones descentralizadas y colaborativas
CapCut tiene ahora un doble que estafa: este es el engaño digital para robar todos tus datos y privacidad
En un nuevo fraude, los ciberdelincuentes imitan la popular aplicación, en esta ocasión simulando la versión premium con un sitio falso que esconde un troyano, poniendo en riesgo tu información personal
Bitcoin muestra signos de recuperación: este es su precio hoy 6 de marzo
El bitcoin fue la primera criptomoneda creada en el mundo y ha llegado a un nivel máximo de 68 mil unidades de dólar
