Inteligencia artificial multimodal

La inteligencia artificial multimodal, también conocida como IA multimodal, es un tipo de inteligencia artificial que puede procesar e integrar datos de diferentes modalidades, como texto, imágenes, audio y video, para obtener una comprensión más completa y contextualizada de una situación.​ La inteligencia artificial multimodal se inspira en la forma en que los humanos usan varios sentidos para percibir e interactuar con el mundo, y ofrece una forma más natural e intuitiva de comunicarse con la tecnología.

Ejemplo de mensaje que demuestra la capacidad de entrada visual de GPT-4

Los sistemas tradicionales de inteligencia artificial a menudo denominados sistemas unimodales, se limitan a procesar datos de una sola modalidad. Por ejemplo, una IA basada en texto sólo puede entender y responder al lenguaje escrito, mientras que una IA de reconocimiento de imágenes se centra únicamente en datos visuales. Estos sistemas unimodales, aunque eficaces en sus ámbitos específicos, carecen de la capacidad de integrar información procedente de múltiples fuentes, lo que puede limitar su comprensión y aplicación.​

Historia

El origen de la IA multimodal se remonta a los inicios de la Inteligencia Artificial como disciplina. Ya en 1950, Alan Turing planteó la posibilidad de crear una máquina inteligente que pudiera comunicarse con los humanos mediante el lenguaje natural.​​ En 1968, Terry Winograd desarrolló un sistema llamado SHRDLU que podía manipular y razonar dentro de un mundo de bloques siguiendo instrucciones de un usuario.​Este sistema combinaba el procesamiento del lenguaje natural y la visión por computadora para entender y generar respuestas.

A partir de los años 80, la IA multimodal empezó a explorar otras modalidades, como el audio, el video y el tacto. Algunos ejemplos de sistemas multimodales de esta época son el sistema de reconocimiento de voz de IBM (1982),​ el sistema de reconocimiento facial de MIT (1988)​ y el sistema de síntesis de voz de AT&T (1989).​ Estos sistemas demostraron la capacidad de la IA para procesar y generar diferentes tipos de datos.

En los años 90, la IA multimodal se benefició del avance de las tecnologías de la información y la comunicación, que facilitaron el acceso y la transmisión de grandes cantidades de datos. Algunos ejemplos de sistemas multimodales de esta década son el sistema de traducción automática de IBM (1991) basado en traducción estadística automática,​ el sistema de reconocimiento de gestos de Microsoft (1993) y el sistema de realidad virtual de Sony (1995).​ Estos sistemas mostraron la capacidad de la IA para integrar y fusionar diferentes modalidades.

Una respuesta estándar de Microsoft Copilot sobre una cuestión ética largamente debatida

En el siglo XXI, la IA multimodal sigue avanzando gracias al desarrollo de los enfoques de aprendizaje automático y aprendizaje profundo, que han permitido crear modelos más potentes y precisos. Algunos ejemplos de sistemas multimodales de este siglo son el sistema de asistente virtual Siri de Apple (2011), el sistema de generación de imágenes GAN de Google (2014)​ y el sistema de generación de texto GPT-4 de OpenAI (2023).​ Estos sistemas han demostrado la capacidad de la IA para crear y comprender contenidos complejos y creativos.

Desafíos y limitaciones

La IA multimodal tiene muchas aplicaciones potenciales en diversos campos. Sin embargo, también enfrenta varios desafíos y limitaciones, como los siguientes:

• Complejidad de la integración de datos: La IA multimodal requiere integrar datos de diferentes fuentes, formatos y dimensiones, lo que implica una gran complejidad y un alto costo computacional. Además, los datos multimodales pueden tener una calidad variable, inconsistencias, ruido y falta de etiquetas, lo que dificulta su procesamiento y análisis. Para superar este desafío, se necesitan métodos eficientes y robustos para la extracción, fusión, alineación y representación de características multimodales.​
• Necesidad de grandes conjuntos de datos para el entrenamiento: La IA multimodal depende en gran medida de los datos para el aprendizaje y la generación de modelos. Sin embargo, los datos multimodales son escasos, costosos y difíciles de obtener, especialmente para dominios específicos o tareas complejas. Además, los datos multimodales pueden tener problemas de privacidad, seguridad y ética, lo que limita su disponibilidad y uso.​
• Falta de estándares para la interoperabilidad entre sistemas: La IA multimodal implica la interacción entre diferentes sistemas, dispositivos y plataformas, lo que requiere una interoperabilidad adecuada y una comunicación fluida. Sin embargo, no hay estándares universales o consensuados para la definición, el diseño, la implementación y la evaluación de los sistemas multimodales. Esto puede generar problemas de compatibilidad, integración, escalabilidad y rendimiento.​

Aplicaciones

Amazon echo plus y Google Home

La IA multimodal tiene muchas aplicaciones potenciales en diversos campos, como la atención médica, el transporte, la educación y el entretenimiento.

Gemini

Gemini es un modelo de lenguaje grande multimodal desarrollado por Google DeepMind. Se considera multimodal porque puede procesar y generar diferentes tipos de datos, como texto, imagen, audio, video y código. Esto le permite comprender y crear contenido en un espectro de dominios y tareas, como razonamiento, matemáticas, programación, conversación, narración, entretenimiento y más.​Ha sido entrenado con una cantidad de datos multimodales, incluyendo transcripciones de videos de YouTube, imágenes de Google Images, código de GitHub y más.​

GPT-4o

Esta sección es un extracto de GPT-4o.[editar]

GPT-4o (siglas de «GPT-4» y «omni») es un transformador generativo multimodal y multilingüe preentrenado, diseñado por OpenAI. Fue anunciado por la CTO de OpenAI, Mira Murati, durante una demostración transmitida en vivo el 13 de mayo de 2024 y fue lanzado ese mismo día.​ GPT-4o es de uso gratuito, aunque los suscriptores de ChatGPT Plus tienen un límite de uso que es 5 veces mayor.​ Puede procesar y generar texto, imágenes y audio.​ Su API es dos veces más rápida y la mitad de precio que su predecesor, GPT-4 Turbo.​

Tesla con el piloto automático activado, cerca del lago Tahoe

Autopilot de Tesla

Tesla Autopilot es un sistema de conducción autónoma ofrecido por Tesla que utiliza la inteligencia artificial multimodal para controlar el vehículo en diferentes situaciones de tráfico. El autopilot de Tesla combina información de varias fuentes, como cámaras, radares, sensores láser y GPS, para detectar y responder a obstáculos, señales, carriles y otros vehículos.​Al fusionar estas modalidades, el autopilot de Tesla puede generar una comprensión más completa y precisa de su entorno. El autopilot de Tesla utiliza diferentes técnicas de aprendizaje multimodal, como la fusión, la alineación y la fusión tardía, para integrar los datos de las modalidades y generar una salida adecuada.​

Referencias

• Datos: Q124464237