Crean una tecnología que convierte el lenguaje de signos en texto hablado

La comunicación sigue rompiendo barreras y gracias al desarrollo de una nueva tecnología, se podrá convertir frases del lenguaje de signos a lengua hablada en formato texto.

Esta nueva invención ha sido creada por los científicos del Barcelona Supercomputing Center permitirá ayudar a un problema al que habitualmente se enfrentan las personas sordas. Coincidiendo con la celebración del Global Accessibility Awareness Day este 18 de mayo, el BSC-CNS se ha querido sumar a esta celebración.

La investigadora del BSC y la UPC, Laia Tarrés, afirma que a pesar de los avances en tecnologías de reconocimiento de voz como Alexa y Siri, las lenguas de señas todavía no se incluyen en estas aplicaciones que están cada vez más presentes en la vida cotidiana.

Según Tarrés, que esto es un gran inconveniente para las personas que tiene que utilizar el lenguaje de signos como forma de vida y con ello no poder interactuar y acceder a diferentes servicios digitales que solo están específicamente creados para lengua hablada.

Para que esto no ocurra, han creado un nuevo software de código abierto que une técnicas de visión por ordenador, un procesamiento de lenguaje natural y el aprendizaje automático para avanzar y realizar esa traducción de la lengua de signos. Esto es algo complejo debido a la gran cantidad de tipos de lenguaje de signos que existen en el mundo.

Aun en fase experimental, el sistema utiliza un modelo de aprendizaje automático llamado Transformers, que es la base de otras herramientas de inteligencia artificial como ChatGPT. De este modo puede convertir frases completas en lenguaje de señas en formato de video a lenguaje hablado en formato de texto.

Actualmente, el enfoque se centra en el lenguaje de señas americano (American Sign Language, ASL), pero podría adaptarse a cualquier otro lenguaje siempre que se disponga de todos los datos necesarios. Es decir, un conjunto de datos paralelos en los que cada frase en lenguaje de señas, que esté en formato video, tenga su correspondiente traducción en lenguaje hablado en formato de texto.

Tarrés ha detallado que esta nueva herramienta es una extensión de la anterior, también del BSC y la UPC, llamada How2Singn, en la que se publicó la información necesaria para realizar un entrenamiento a los modelos. Unos entrenamientos que consistieron en más de 80 horas de videos con intérpretes de lenguaje de signos americano que traducen tutoriales en video, tales como recetas de cocina o trucos de bricolaje).

Los investigadores reconocen y afirman que están yendo en el camino correcto, aunque son cautos y reconocen que todavía hay mucho margen de mejora. El proyecto se exhibirá en el Centro de Cultura Contemporánea de Barcelona (CCCB) como parte de una exposición sobre inteligencia.