La IA de Meta que puede convertir cualquier objeto o persona en un diseño 3D

Meta ha presentado al público su más reciente avance en inteligencia artificial: dos modelos que prometen transformar la manera en que se detectan, segmentan y reconstruyen objetos y personas en tres dimensiones.

Bajo los nombres de SAM 3 y SAM 3D, estos sistemas permiten a usuarios y creadores abordar la edición, el diseño y la interacción con el mundo visual mediante procesos más precisos y accesibles.

El objetivo de estos modelos consiste en avanzar hacia una mejor comprensión por parte de la IA del mundo visual. SAM 3 permite la detección y el seguimiento de objetos en imágenes y videos, mientras que SAM 3D habilita la reconstrucción de objetos y personas en tres dimensiones, partiendo únicamente de una imagen.

Según detalla la empresa en su publicación, la clave radica en la capacidad de estos modelos para interpretar tanto indicaciones visuales como escritos específicos sobre qué objetos aislar o transformar. Esto se ha conseguido mediante una arquitectura de IA entrenada con grandes cantidades de datos, que logra establecer conexiones directas entre descripciones de texto detalladas y elementos visuales presentes en fotos o secuencias de video.

Los modelos previos, como SAM 1 y SAM 2, ya habían modificado el panorama de la segmentación de imágenes al emplear indicaciones visuales, pero presentaron límites al momento de interpretar instrucciones detalladas en lenguaje natural.

La novedad en SAM 3 es su habilidad para procesar textos complejos y segmentar conceptos más específicos, yendo más allá de categorías simples como “auto” o “bola”. Ahora, por ejemplo, es posible describir con precisión un objeto, como “gorro de béisbol rojo”, y la IA podrá localizar todas las coincidencias en el material visual analizado.

La implementación de SAM 3 se actualiza en la edición de contenido visual, con aplicaciones directas tanto en la producción profesional como en las plataformas populares de creación de videos cortos. Meta ha anunciado la integración de esta tecnología en “Edits”, la herramienta destinada a la generación de videos para Instagram y Facebook.

De este modo, los creadores de contenido contarán con un filtro de segmentación más avanzado, útil para aplicar efectos especiales o transformar elementos específicos al instante.

Para democratizar el acceso a la innovación, Meta habilitó la plataforma Segment Anything Playground, una aplicación web donde cualquier usuario puede subir imágenes o videos, y experimentar con el recorte, selección y edición de objetos mediante indicaciones en lenguaje natural.

El editor ofrece una interfaz sencilla, que recuerda la función de la “varita mágica” en programas tradicionales, permitiendo seleccionar y modificar objetos mediante clics o instrucciones escritas.

Meta planea aprovechar estas capacidades avanzadas de segmentación y reconstrucción 3D en varios de sus productos estrella. Por ejemplo, la función “View in Room” de Facebook Marketplace permitirá que los usuarios visualicen cómo quedarían productos como lámparas o muebles en sus propios hogares antes de concretar una compra, mediante modelos tridimensionales generados automáticamente.

Pero el potencial del sistema trasciende el comercio y el entretenimiento. La empresa destaca la importancia de estos modelos en el avance de áreas como la robótica, la ciencia, la educación y la medicina deportiva, ya que la reconstrucción 3D a partir de imágenes simples abre puertas a nuevas aplicaciones en simuladores, herramientas de análisis y experiencias educativas.

Para quienes buscan experimentar, Meta ha liberado tanto los recursos del modelo como los datasets de benchmarking. Investigadores, desarrolladores y artistas pueden acceder al código y a una colección de imágenes diversificadas para probar el rendimiento de los modelos, sentando nuevas bases para la medición del progreso científico en este campo.