Meta acaba de presentar Segment Anything Model 2 (o SAM 2), una versión renovada de su modelo de aprendizaje automático capaz de identificar los píxeles que componen los elementos de una imagen y delinearlos en su conjunto. Además de haber mejorado sus capacidades, SAM 2 también es aplicable a vídeos.
Esta se ha convertido en una herramienta muy popular puesto que la segmentación es una tarea fundamental en la visión artificial (la tecnología que permite a las máquinas reconocer, analizar e identificar objetos). Necesidad a la que Meta respondió lanzando SAM en 2023.
Siguiendo su enfoque open source, Meta ha compartido la investigación y el código de SAM 2 a través de una licencia Apache 2.0 permisiva. Sumado a esto, ha compartido el conjunto de datos SA-V, que incluye unos 51.000 vídeos del mundo real y más de 600.000 masklets (máscaras espacio-temporales que identifican objetos). Además, también han presentado una demo gratuita que permite la segmentación interactiva en tiempo real aplicada a vídeos cortos.
SAM 2 supera a su predecesor presentando una mejor y más precisa capacidad para segmentar imágenes, pudiendo identificar cualquier objeto y dominio visual aunque no lo haya visto anteriormente. Además, es capaz de realizar sus funciones empleando tres veces menos tiempo de interacción.
A la hora de desarrollar SAM 2, Meta encaró importantes desafíos en lo relativo a la segmentación de objetos en vídeo. Cuestiones como el movimiento de los objetos, la deformación, los cambios de iluminación, la superposición de elementos, la calidad de imagen o desenfoque, han sido tomadas en cuenta para elaborar este nuevo modelo, el cual ha sido capaz de dar respuestas satisfactorias a muchos de estos retos.
La herramienta Segment Anything Model 2 realiza una predicción inmediata de los elementos de un vídeo sobre los que debe aplicar una máscara espacio-temporal (también llamada “masklet”) en función de un mensaje de entrada, y la propaga sobre el objetvo objetivo en todos los fotogramas del vídeo. El usuario o usuaria puede refinar la selección de forma interactiva proporcionando mensajes adicionales. Esta acción puede repetirse las veces que se desee hasta lograr el masklet deseado.
El nuevo modelo SAM 2 presenta una arquitectura más compleja que su antecesor. Este puede activarse mediante clics (positivos o negativos), cuadros delimitadores o máscaras para segmentar los objetos de un fotograma determinado. Tras esto, un codificador de máscaras ligero toma una imagen incorporada para el fotograma actual y codifica las indicaciones recibidas para crear una máscara de segmentación.
Tras esto, SAM 2 extiende esta predicción de máscara a todos los fotogramas que componen el vídeo. Para poder realizar esta tarea con precisión, la herramienta ha introducido un mecanismo de memoria compuesto por un codificador de memoria, un banco de memoria y un módulo de atención de memoria.
Con este proceso completado, es posible dar indicaciones a la herramienta en cualquier otro fotograma posterior. Lo cual permite refinar la segmentación de la máscara final.
Una de las dificultades a la hora de entrenar modelos como SAM 2 es la escasez de conjuntos de datos de segmentación que abarquen una variedad amplia de objetos. Además, estas segmentaciones ya existentes suelen cubrir objetos completos (personas, por ejemplo), pero no elementos de ese “objeto” (ropa, accesorios, pelo, etc.).
Meta atajó este problema creando un motor de datos y se sirvieron de anotadores humanos. Estos anotadores utilizaron SAM 2 para seleccionar interactivamente partes de objetos en los vídeos, generando nuevos conjuntos de datos que mejoraron el modelo. Este proceso se repitió numerosas veces hasta lograr el objetivo: crear un modelo que identifica tanto objetos completos como sus partes.
Además, ahora Meta cuenta con un gran conjunto de datos SA-V que incluye más de 600.000 anotaciones en unos 51.000 vídeos de 47 países. Estas anotaciones cubren tanto objetos completos partes de los mismos que, en el propio vídeo, pueden mostrarse en situaciones complejas, llegando a ocultarse parcialmente, desaparecer y reaparecer.
Si bien es cierto que Meta ha logrado mejorar su Segment Anything Model, también lo es que todavía puede seguir potenciando su rendimiento y precisión. Y es que, SAM 2 puede llegar a perder el rastro de objetos si se producen cambios drásticos en el punto de vista de la cámara, si este es ocultado durante mucho tiempo por otro elemento de la imagen o si el vídeo dura mucho. El atajo que Meta ha incluído ante este problema es la posibilidad de intervenir manualmente al interactuar con él a través de los clics de corrección en distintos fotogramas.
Por otra parte, cuando el objeto objetivo solo se especifica en un fotograma, la herramienta puede llegar a confundirlo con otro y no segmentarlo de forma correcta. Aunque este problema puede solucionarse con las acciones de refinamiento manuales comentadas. Así mismo, aunque SAM 2 permite segmentar varios objetos independientes a la vez, su eficiencia puede verse reducida al hacerlo.
En lo relativo a objetos de gran complejidad que se mueven rápidamente en un vídeo, SAM 2 puede llegar a pasar por alto detalles de los mismos, creando predicciones de segmentación irregulares en los distintos fotogramas. Esta problemática puede solventarse, hasta cierto punto, añadiendo indicaciones a la herramienta en los distintos fotogramas.
Meta explica que: «durante el entrenamiento, no aplicamos ninguna penalización a las predicciones del modelo si se mueven entre fotogramas, por lo que no se garantiza la uniformidad temporal. Mejorar esta capacidad podría facilitar las aplicaciones del mundo real que requieren la localización detallada de estructuras finas».
La creación del Segment Anything Model o SAM supuso un gran avance en materia de visión artificial, ya que crear un modelo específico y preciso para tareas concretas de esta índole era un trabajo muy costoso. La llegada de la herramienta de Meta y su puesta a disposición de empresas y usuarios rompió esta barrera al proporcionar un modelo ya entrenado y disponible para esta función.
De acuerdo con la información compartida por Meta, desde el lanzamiento de SAM, este se ha empleado en diversos campos de trabajo. Desde el desarrollo de nuevas funciones dentro de la propia Meta (como Background y Cutout para Instagram), hasta su uso por empresas y organizaciones para analizar arrecifes de coral, estudiar imágenes de satélites para establecer planes de auxilio en casos de desastre, o segmentar imágenes de células para detectar el cáncer de piel.
Ahora, las capacidades mejoradas que presenta SAM 2 podrán impulsar todavía más el desarrollo de soluciones y estudios para los ámbitos anteriores, así como inspirar nuevas aplicaciones. En su comunicado, Meta resalta la importancia del código abierto y recoge las palabras de su CEO, Mark Zuckerberg, en una carta abierta publicada recientemente: «la IA de código abierto tiene más potencial que cualquier otra tecnología moderna para aumentar la productividad, la creatividad y la calidad de vida de los seres humanos».
Foto: Meta
No se han encontrado artículos relacionados.
Your email address will not be published. Required fields are marked *
Δ