DeepRESTORE tiene como objetivo investigar el uso de las interfaces de voz silenciosa para restaurar la comunicación en personas que han sido privadas de la capacidad de hablar. Las interfaces de voz silenciosa son dispositivos que capturan señales biológicas no acústicas generadas durante el proceso de producción de voz y las utilizan para predecir el mensaje deseado. Si bien las interfaces SSI se han investigado principalmente en el contexto del reconocimiento de voz (Silent-Speech-to-Text), este proyecto investigará también sobre las de técnicas de síntesis de voz directa, generando así directamente la forma de onda de voz correspondiente a su salida.

Dos son las señales biológicas principales que se investigarán en este proyecto. En el subproyecto 1, se capturarán y procesarán las señales electromiográficas producidas por el aparato de producción del habla junto con vídeos de los movimientos faciales. El subproyecto 2 abordará el campo muy novedoso de las interfaces cerebro-ordenador utilizando las señales cerebrales obtenidas mediante electroencefalografía (tanto intracraneal como no invasiva). De todo el espectro de trastornos del habla que pueden afectar a la voz de una persona, DeepRESTORE abordará dos condiciones, siendo cada una el objetivo de un subproyecto particular:

• Pacientes con laringectomía total (SP1), cuyo tracto vocal superior (es decir, boca, lengua, labios, etc.) está intacto, pero no pueden hablar normalmente porque toda su laringe (un órgano esencial para la producción de sonido) ha sido extirpada quirúrgicamente como tratamiento para el cáncer de laringe. Estas personas aún conservan el control sobre los articuladores del habla y, por lo tanto, los datos del habla silenciosos que reflejan los movimientos de los articuladores se pueden capturar utilizando EMG por ejemplo.
• Enfermedades neurodegenerativas y otras lesiones traumáticas (SP2) que pueden dejar a un individuo paralizado y, posiblemente, incapaz de hablar. Para muchas de estas personas, su único medio de comunicación es a través de movimientos oculares limitados y parpadeo; sin embargo, para aquellos con síndrome de enclaustramiento total, incluso este tipo de comunicación puede no ser posible. Un sistema de comunicación basado en SSI podría proporcionarles una forma más efectiva y eficiente de comunicarse sin la necesidad de que un cuidador inicie una conversación o hable por ellos. Tal tecnología, por tanto, podría mejorar dramáticamente la vida de estas personas.

DeepRESTORE será llevado a cabo por dos grupos de investigación ubicados en España con una fuerte colaboración de investigadores externos. Este proyecto supone la continuación de la colaboración desarrollada en el marco del proyecto coordinado ReSSInt, dedicado a la investigación de voz silenciosa. El grupo Aholab de la UPV/EHU ha demostrado su experiencia en el campo del procesamiento de señales y la síntesis de voz. El grupo de la UGR está dirigido por un con una consolidada experiencia investigadora en el campo de las interfaces de voz silenciosa. Ambos grupos contarán con el respaldo de investigadores especializados en el área a nivel internacional.