Projects

Aprendizaje profundo aplicado a voces patológicas

From: 1-9-2018 to: 1-6-2021

Según datos del Instituto Nacional de Estadística, en España hay más de 410 000 personas con discapacidad para “Producir mensajes hablados” (datos de 2008). Este tipo de discapacidad produce un aislamiento social de las personas que la sufren, ya que su comunicación con el entorno se ve seriamente afectada, empeorando las relaciones personales, y generando problemas de integración en el entorno laboral. Este proyecto tiene como finalidad última la mejora de la calidad de vida de estas personas, mediante la generación de avances en el procesamiento digital del habla. Para generar estos avances se propone el uso de redes neuronales profundas en los procesos de conversión de texto en habla y de conversión y transformación de voz.

El grupo Aholab tiene experiencia demostrada en el procesamiento digital del habla y en la actualidad colabora con los dos hospitales más importantes del entorno (Hospital Universitario Cruces y Hospital Universitario Basurto) en el desarrollo de sistemas que mejoren la calidad de vida de los pacientes con discapacidades orales. El trabajo que se propone en este proyecto se enfoca a dos tipos de habla patológica: el habla esofágica (de personas laringectomizadas) y el habla disártrica. En ambos casos se aplicarán las técnicas de aprendizaje basadas en Redes Neuronales profundas, que están siendo aplicadas con éxito en los campos del reconocimientoy de la síntesis de voz. El interés especial de nuestro proyecto radica en el empleo de estos sistemas para voces con las patologías mencionadas.

Proyectos de Investigación Basica/Aplicada 2018-2020

BERBAOLA: Tecnologías de la Lengua y el Habla aplicadas a los ámbitos del RIS3

Project Code: KK-2017/00043

From: 2017 To: 2018

A través de BerbaOla se plantea un proyecto de investigación fundamental orientada a afrontar los desafíos de la estrategia de especialización inteligente del Gobierno Vasco y con el propósito de consolidar el posicionamiento de Euskadi como punto de referencia en materia de tecnologías lingüísticas. El objeto principal del proyecto es el siguiente: Investigación y desarrollo en tecnologías de la lengua y el habla para la Fabricación Avanzada, Biociencias y Salud, e Industrias Culturales y Creativas.

Asimismo, el objeto principal del proyecto se descompone en los siguientes objetivos científico-tecnológicos:

• Profundizar en la investigación fundamental en tecnologías de la lengua y el habla a los nichos de oportunidad Industrias Culturales e Industrias de la Lengua, así como a las prioridades estratégicas Fabricación Avanzada y Biociencias y Salud Humana.
• Reforzar la aportación científico-tecnológica de las tecnologías de la lengua y el habla a los nichos de oportunidad mencionados, traccionando su desarrollo y avance como industrias competitivas.
• Centrar la investigación fundamental en Fabricación Avanzada con el objetivo de dotar de inteligencia a los procesos productivos e interacción persona-máquina.
• Orientar nuestra investigación fundamental para que los retos sociales marcados en el Horizon 2020 y la prioridad estratégica en Biociencias y Salud Humana, respondan a retos como el envejecimiento, interoperabilidad de la información médica, la farmacovigilancia o la inclusividad de personas con discapacidad.
• Ayudar en las superación de las barreras lingüísticas para que las empresas vascas tengan ventaja competitiva en el Mercado Único Digital y que el euskera no quede digitalmente relegado.
• Promover soluciones tecnológicas multilingües e inteligentes sustancialmente nuevas mediante la exploración de ideas innovadoras y basadas en los fundamentos científicos. • Apoyar de manera flexible la investigación en colaboración, orientada por los objetivos y la interdisciplinariedad a diversas escalas.
• Generar la base para el desarrollo de un Territorio Inteligente: desde la apertura y vinculación de los procesos sociales, pasando por la conectividad multilingüe de las cosas creando nuevos espacios para la interacción que posibilitan un nuevo paradigma inclusivo.
• Consolidar el consorcio BerbaOla como punto de referencia excelente científico-tecnológica en tecnologías de la lengua y la voz dentro del Espacio Europeo de Investigación.

Sistema de predicción del nivel de ocupación de las bicicletas de alquiler en área metropolitana

Thematic Network on Speech Technologies

Financed by MINECO

The Thematic Network on Speech Technologies (RTTH) has for 16 years joined the leading researchers working on this field in Spain. Since 1999, the RTTH has boosted the research in the field of speech technology creating synergies among the different research groups that compose it with the aim of putting the Spanish research on Speech Technologies at the international scientific-technological forefront.
The main objectives of the network are:

Enhance the international dimension of the research groups working in the field of Speech Technologies in Spain by organizing events that help building strong partnerships at European level to increase the chances of the members of the RTTH in the European framework program H2020.
Attract investment towards Speech Technologies research by finding new applications that provide new business opportunities. These applications must be materialized on prototypes and demonstrators to attract the interest of companies.
Encourage scientists and technologists experts on Speech Technologies from academia to join the industrial sector to facilitate the transfer of knowledge between both areas
Promote research in Speech Technologies attracting young researchers to this field through training, mobility initiatives, scholarships and awards.
Encourage the use of Speech Technologies as a transversal technology, developing strategies to strengthen its implementation in strategic areas such as health and active aging, the Internet of the future, Big Data, Mobile Communications, …
Progress in creating partnerships and integration of Network members to maintain the leadership of Spain in the research on Castilian and the rest of the languages of the state avoiding that our country could be left behind in this area with respect the rest of the advanced economies

Sistema de síntesis de voz cantada basada en AhoTTS

Student: Eder del Blanco Sierra

Supervisor: I. Hernáez Rioja

Este trabajo de fin de grado ha sido propuesto por el Laboratorio de Procesado de Señal Aholab, perteneciente al Departamento de Electrónica y Telecomunicaciones (DET) de la Escuela Técnica Superior de Ingeniería (ETSI) de la UPV/EHU.

Este trabajo se basa en el proyecto nació en el año 2011, cuando se intentó crear un robot capaz de improvisar y cantar versos (Bertsobot). Para ello colaboraron la Asociación de Amigos del Bertsolarismo [AAB] y tres laboratorios de la UPV/EHU: el grupo de Robótica y Sistemas Autónomos [GRSA] , Ixa [IXA] y Aholab [AHO] . En el proyecto original se creó un software que improvisaba versos a partir de una o más palabras clave o repetía versos almacenados en su memoria. El papel de Aholab en este proyecto fue el de dar voz a los versos, que otro software se encarga de crear.

La herramienta sobre la que se basa el sintetizador de voz cantada es un conversor de texto a voz creado por Aholab. El conversor de texto a voz genera voz hablada a partir de una entrada de texto plano. Para que la voz pudiera cantar, fue necesario implementar algunas adaptaciones, que permitieron cambiar la duración de las sílabas que se deben pronunciar y cambiar la frecuencia fundamental del sonido en cada una de ellas, para hacerlas coincidir con las notas de la melodía.

Sin embargo, las adaptaciones realizadas eran provisionales y el resultado que se obtuvo no fue muy satisfactorio. La voz sintetizada tenía escasa inteligibilidad y la melodía se entonaba dando lugar a saltos bruscos entre notas, de forma que resultaba muy robótica al oído humano. Además, en este sistema las frecuencias a las que se debe modular la voz y la duración de cada una debían ser especificadas manualmente, por lo que cambiar la línea melódica que se utilizará conllevaba una carga de trabajo. Se puede decir que el sistema inicial era demasiado estático, y no sería funcional si se pretendiera darle un uso más frecuente.

Los objetivos de este trabajo vienen dados por las deficiencias iniciales, y consiste precisamente en darles respuesta: conseguir que la pronunciación de la voz sintética sea más comprensible, solventar el problema de la transición entre notas y dinamizar la configuración de la melodía. La herramienta propuesta para lograr dichos objetivos es Pure Data, un lenguaje de programación visual ideado para crear música electrónica. El programa mediante el cual funciona ofrece múltiples herramientas para controlar en tiempo real el procesamiento de las señales. Por ello, es un recurso interesante para obtener mayor dominio sobre la entonación de la voz.

Froga

Hau froga bat da

RESTORE: Reparación, almacenamiento y rehabilitación de la voz

Participants: Aholab (coordinator), Biocruces

Project Code: TEC2015-67163-C2-1-R

From: 1-1-2016 to: 31-12-2018

According to the data of the Spanish Statistical Institute (Instituto Nacional de Estadística) from 2008, there are more than 400 000 people with oral disabilities in Spain. In Europe, 0.4% of the population has an oral disability as indicated by Eurostat. This kind of disability produces social isolation since the communication with the environment is seriously affected so as to hamper personal relationships and generate problems of integration at the workplace.

RESTORE is a project aimed to improve the quality of communication for people with difficulties producing speech, providing them with tools and alternative communication services. At the same time, progress will be made at the research of techniques for restoration and rehabilitation of disordered speech. The following goals are proposed for the project:

Goal 1.- Implementation of a donors’ voice bank and creation of the service of personalized synthetic speech for people with oral disabilities in general and people who have been laryngectomised at Hospital Universitario Cruces.

Goal 2.- Design and development of a Serious Game as a multimedia tool to support the speech rehabilitation process for people with voice disorders.

Goal 3.- Improve the intelligibility of alaringeal voices (voices from people who have been laryngectomised) and dysartric voices.

The Project coordinates the research work of two groups, one from the field of Telecommunication Engineering and the other from the field of Medicine and Speech Therapy. The Voice Banking service proposed is a groundbreaking service for the country, since there are only a few experiences with the same aim in USA and Europe. This kind of service offers personalized synthetic speech that can be used in existing Alternative and Augmentative Communication devices. These devices allow people with oral disabilities to communicate. In our proposal the communication is achieved with a personalized voice that might be similar to the patient’s own voice in cases of progressive diseases or laryngectomies. Besides the design and development of a voice training tool is pursued in order to incentive and facilitate the speech rehabilitation process, a real hard and complex task depending on the specific pathology.

The ultimate goal of the project is to offer new possibilities in the rehabilitation and reintegration into society of patients with speech pathologies, especially those laryngectomised, by designing new intervention strategies aimed to favour their communication with the environment and ultimately increase their quality of life. This is the reason why the project fits perfectly into the Challenge 1 – Health, demographic change and wellbeing.

Este proyecto está cofinanciado por el Fondo Europeo de Desarrollo de Regional

ELKAROLA: Tecnologías de la Lengua y el Habla para un Territorio Inteligente, Industrial, Inclusivo y Multilingüe

Participants: Elhuyar (coordinator), Tecnalia, VicomTech, IXA, Aholab

Project Code: KK-2015/00098 KK-2016/00087

From: 1-1-2015 to: 31-12-2016

elkarola.eus

Mediante el proyecto ElkarOla deseamos obtener los siguientes objetivos:

Enfocar y orientar la investigación fundamental en tecnologías de la lengua y el habla a los nichos de oportunidad Industrias Culturales e Industrias de la Lengua, así como a las prioridades estratégicas Fabricación Avanzada y Biociencias y Salud Humana.
- Reforzar la aportación científico-tecnológica de las tecnologías de la lengua y el habla a los nichos de oportunidad mencionados, traccionado su desarrollo y avance como industrias competitivas.
- Centrar la investigación fundamental en Fabricación Avanzada con el objetivo de dotar de inteligencia a los procesos productivos e interacción persona-máquina.
- Orientar nuestra investigación fundamental para que los retos sociales marcados en el Horizon 2020 y la prioridad estratégica en BioCiencias y Salud Humana, respondan a retos como el envejecimiento, interoperabilidad de la información médica, la farmacovigilancia o la inclusividad de personas con discapacidad funcional.
- Ayudar en las superación de las barreras lingüísticas para que las empresas vascas tengan ventaja competitiva en el Mercado Único Digital y que el euskera no quede digitalmente relegado.
- Promover soluciones tecnológicas multilingües e inteligentes sustancialmente nuevas mediante la exploración de ideas innovadoras y basadas en los fundamentos científicos.
- Apoyar de manera flexible la investigación en colaboración, orientada por los objetivos y la interdisciplinariedad a diversas escalas.
- Generar la base para el desarrollo de un Territorio Inteligente: desde la apertura y vinculación de los procesos sociales, pasando por la conectividad multilingüe de las cosas creando nuevos espacios para la interacción que posibilitan un nuevo paradigma inclusivo.
Consolidar el consorcio ElkarOla como punto de referencia excelente científico-tecnológica en tecnologías de la lengua y la voz dentro del Espacio Europeo de Investigación.
- Reforzar la excelencia, el dinamismo y la creatividad de la investigación en en tecnologías de la lengua y el habla, donde la interdisciplinariedad y la convergencia con otros ámbitos científico-tecnológicos sea una constante.
- Llevar a cabo acciones para la incorporación de técnicos e investigadores vascos de prestigio en tecnologías de la lengua y el habla.
- Consolidar el consorcio como polo de referencia, ya que, supondrá la integración y generación de una masa crítica investigadora del sistema vasco contribuyendo a situar a nuestra comunidad en un lugar preferente en el denominado Espacio Europeo de Investigación (ERA)
- Promover y generar una red de colaboración científica en el ámbito internacional con algunos centros de investigación de reconocimiento mundial
- Promover y generar un capital investigador en la investigación de excelencia en el campo de las tecnologías de la lengua en Euskadi, que sea una referencia a nivel nacional y Europeo;
Mejorar sustancialmente la transferencia científico-tecnológica de los resultados del proyecto y cuantificar su proyección socio-económica
- Construir las herramientas adecuadas para generar un mejor conocimiento y entendimiento del procesamiento del lenguaje natural como fenómeno económico, su impacto en el territorio, empresas y en las personas. Servirá para reforzar su orientación a resultados y su cercanía a las necesidades de la empresa y del conjunto de la sociedad vasca.
- Trabajar conjuntamente y de manera continuada con el tejido empresarial, para adecuar y adaptar de la manera más eficaz posible las líneas de investigación y proyectos planificados.
- Adoptar prácticas de investigación innovadoras y detectar y aprovechar las oportunidades de beneficio a largo plazo para el Territorio y las empresas
- Integrar el conocimiento generado desde las acciones innovadoras, científico-tecnológicas en el marco de los programas de formación en tecnologías de la lengua, Fabricación Avanzada y Biociencia y Salud Humana.
- Generar el soporte claro para la difusión y transferencia inmediata del conocimiento y avances tecnológicos con el fin de dar apoyo al tejido empresarial y favorecer la creación de empresas de base tecnolçogica o start-up en sectores intensivos en conocimiento en el ámbito de las tecnologías de la lengua y la voz.

Iparrahotsa: AhoTTS for Lapurdian Basque

The primary goal ZureTTS portal is the design and development of a web interface that allows nonexpert users to get their own personalized synthetic voice with minimal effort. Based on the increasingly popular statistical parametric speech synthesis paradigm, the system is being developed simultaneously for various languages: English, Spanish, Basque, Catalan, Galician, Slovak, Chinese, and German. Become a donnor and a user!

Zure_TTS: A system to produce customized voices with application to people with oral disabilities.

Project Title: A system to produce customized voices with application to people with oral disabilities

Finnaced by: BASQUE GOVERNMENT (SAIOTEK)

Project manager: Inma Hernaez

Participants: UPV/EHUI

Team: Inma Hernáez, Eva Navas, Iñaki Sainz, Dani Erro, Ibon Saratxaga, Jon Sánchez, Juanjo Igarza

Begin date: Jul-2011
End date: Dec-2012.

Project page: http://aholab.ehu.es/ZURE_TTS/

EEl proyecto presentado es un primer paso hacia el desarrollo de un sistema automático de personalización de voces sintéticas orientado especialmente a colectivos de personas afectadas por la pérdida total o parcial de su voz. En esta primera fase, se obtendrán las técnicas básicas de personalización de voces utilizando datos de voz no patológicas, se generarán los modelos correspondientes a la voz de partida genérica o voz promedio y se diseñarán las bases de datos textuales necesarias para realizar la personalización. Asímismo, se desarrollará un primer prototipo de portal de acceso al sistema, que permita a un usuario no experto desarrollar una voz sintética personalizada a su propia voz. El desarrollo de este prototipo se considera clave para el éxito del proyecto, ya que con el que se realizará un estudio piloto del interés que esta aplicación pueda tener en colectivos de personas afectadas por patologías del habla.

Así pues, los objetivos que se pretenden alcanzar con este proyecto son tres:

Implementar un sistema de personalización de voces sintéticas basado en síntesis estadística.
Desarrollar un prototipo de demostración de funcionamiento del sistema para el euskera.
Analizar el interés del sistema para colectivos de personas afectadas por pérdida de voz.