Su trabajo científico consiste en interpretar y analizar de manera automática escenas complejas utilizando técnicas avanzadas de computer vision y aprendizaje profundo -Inteligencia Artificial (IA)-. Una posible aplicación son los dispositivos asistenciales que ayudan a quienes tienen problemas de visión o la han perdido completamente.

Su trabajo ha sido premiado en el Congreso Internacional "Computer Vision and Pattern Recognition", celebrado en Seattle (Estados Unidos), el evento más relevante en esta materia.

Anticipando el futuro

Lorenzo Mur investiga en métodos de visión egocéntrica, como si la persona llevase una cámara en las gafas. Desarrolla métodos de IA que "comprendan" lo mejor posible qué está haciendo la persona, dónde y cuáles son los objetos a su alrededor, qué es lo siguiente que va a realizar. Así, "identificando dónde están los objetos, podemos destacar su silueta dentro del implante de la persona ciega", ha explicado.

Su trabajo se complementa con el de Carlos Plou, que está más enfocado en el reconocimiento de acciones dentro de videos, empleando cámaras de eventos o modelos de lenguaje. En su investigación utiliza métodos de IA segura y fiable. Un problema conocido de ChatGPT y otros similares "es que siempre da una respuesta y si no la sabe se la inventa. Con estos métodos conseguimos que si no sabe la respuesta diga, no lo sé, o es posible que sea así, pero no estoy seguro del todo".

¿Dónde están las llaves?

Uno de los retos a los que se enfrentaron los investigadores podría aplicarse a una escena de una película, por ejemplo, "Ok Google, ve a la escena donde el dragón incendia la ciudad". Pero, viajando a un futuro, "llevar unas gafas que graban o recogen todo lo que hacemos en el día a día, podríamos preguntarle a nuestro modelo de IA dónde dejé las llaves de casa. El modelo haría el papel "de madre", recordándonos donde las dejamos por última vez", han subrayado los dos jóvenes investigadores.

Uno de los objetivos del grupo de investigación del I3A es desarrollar un asistente IA para personas mayores o con problemas de visión, que pueda ser tan fácil de llevar como unas gafas. A través de una cámara en la montura y procesando toda la información, la IA entiende lo que la persona está realizando y dónde se encuentra.

Los métodos que se están desarrollando permitirían a largo plazo que, si una persona se deja encendida la vitrocerámica, el sistema le avisaría para evitar un incendio.

Primer y segundo premio en Seattle

En el congreso Computer Vision and Pattern Recognition, celebrado este verano en Seattle, compitieron para crear un modelo de IA para que dándole un vídeo y una descripción encontrara el fragmento del vídeo que corresponde a esa descripción.

"Nuestro sistema de IA te dice en qué parte del vídeo tiene lugar cada acción", comentan. Así, por ejemplo, podría aplicarse a una escena de una película, "Ok Google, ve a la escena donde el dragón incendia la ciudad".

Pero, viajando a un futuro, "llevar unas gafas que graban o recogen todo lo que hacemos en el día a día, podríamos preguntarle a nuestro modelo de IA dónde dejé las llaves de casa. El modelo nos recordaría donde las dejamos por última vez", han comentado los dos jóvenes investigadores. La propuesta les ha llevado a ganar el primer premio.

Lorenzo Mur además ha consiguido el segundo premio con su trabajo en el que debía construir un modelo para predecir cuál era la siguiente acción que iba a pasar en un vídeo, antes de haberla visto.

El objetivo del grupo de investigación del I3A es tener un sistema con IA montado en las propias gafas. A través de una cámara en la montura y procesando toda la información, la IA entiende lo que la persona está realizando y dónde se encuentra. Con el método de anticipación de acciones, esto permitiría que, si un operario arreglando un cuadro eléctrico tuviera un fallo, el sistema le avisaría para evitar un cortocircuito.

Lograr estos premios en el mayor congreso internacional de IA y Visión por Computador es un paso importante para jóvenes investigadores que se enfrentan a los sinsabores que deja la vida del doctorado.

"La competencia que hay actualmente en investigación de IA, donde resulta casi imposible competir con las grandes empresas como Meta, Google, Amazon... sin duda, recibir un premio así es un empujón de motivación", ha remarcado Lorenzo Mur.

Para Carlos Plou era su primera experiencia en este congreso y "me sirvió para darme cuenta del impacto de nuestro grupo de investigación. Trabajando día a día, no te das cuenta del impacto de tus profesores, pero cuando vas a un evento de esta magnitud y que la gente sepa perfectamente dónde está Zaragoza y te pregunta por alguno de tus profesores, eres consciente del grupo en el que estás", ha declarado.