Meta ImageBind es un nuevo modelo de IA que logra vincular todos los sentidos humanos, traducidos en seis tipos de información: texto, imagen/video, audio, profundidad, unidades de medida térmicas e inerciales. Al combinarlos, la herramienta puede proporcionar una experiencia multisensorial inmersiva que vincula la información y crea una comprensión integral del entorno.

“Incluso puede actualizar los modelos de IA existentes para admitir la entrada de cualquiera de las seis modalidades, lo que permite la búsqueda basada en audio, la búsqueda intermodal, la aritmética multimodal y la generación intermodal”, señala Meta.

Pero la empresa no quiere ponerse límites, pues afirma que en algún momento podrán vincular más sentidos, como el tacto, el habla, el olfato y las señales de IRMf del cerebro.

Meta ImageBind puede ayudar a crear sistemas de IA multimodales que aprenden de todo tipo de datos a su alrededor. A medida que aumenta el número de modalidades abre nuevas posibilidades para desarrollar sistemas completos, como la combinación de sensores 3D e IMU para diseñar mundos virtuales inmersivos.

También puede proporcionar una forma de explorar los recuerdos. Con la capacidad de buscar imágenes, videos, archivos de audio o mensajes de texto usando una combinación de texto, audio e imagen, Meta ImageBind podría revolucionar la forma en que buscamos y exploramos nuestras memorias.

Ahora Lee