Proposamenaren laburpena

DeepRestorek isilpeko ahots interfazeen erabilera ikertzea du helburu, hitz egiteko gaitasuna galdu duten pertsonengan komunikazioa berrezartzeko. Isilpeko ahots interfazeak ahotsa soetzeko prozesuan sortutako seinale biologiko ez-akustikoak atzematen dituzten gailuak dira, eta nahi den mezua iragartzeko erabiltzen dituzte. Silent-Speech-to-Text interfazeak —SSI— ahotsa ezagutzeko testuinguruan ikertu badira ere, proiektu hau zuzeneko ahotsaren sintesi-tekniketan zentratzen da, zuzenean sortzeko bere irteerari dagokion ahots-uhinaren forma.

Bi dira proiektu honetan ikertuko diren seinale biologiko nagusiak. 1. azpiproiektuan, hizketaren ekoizpen-aparatuak sortutako seinale elektromiografikoak harrapatu eta prozesatuko dira, aurpegi-mugimenduen bideoekin batera. 2. azpiproiektuak garun-ordenagailu interfazeen eremu oso berriari helduko dio, elektroentzefalografia bidez (garezur barnekoa zein ez-inbaditzailea) lortutako garun-seinaleak erabiliz. Pertsona baten ahotsari eragin diezaioketen mintzamen-nahasmenduen espektro osotik, DeepRESTORE-k bi baldintza landuko ditu, bakoitza azpiproiektu berezi baten helburua izanik:

  • Laringektomia osoa duten pazienteak (SP1), goiko ahots-traktua (hau da, ahoa, mihia, ezpainak eta abar) osorik dutenak, baina ezin dute normal hitz egin, laringe osoa (soinua sortzeko funtsezko organoa) kirurgikoki erauzi zaielako laringeko minbiziaren aurkako tratamendu gisa. Pertsona horiek mintzamenaren artikulatzaileen gaineko kontrola dute oraindik ere, eta, beraz, artikulatzaileen mugimenduak islatzen dituzten mintzamenaren datu isilak atzeman daitezke, EMG erabiliz adibidez.
  • Pertsona bat paralizatuta eta, agian, hitz egiteko gai ez dela utz dezaketen gaixotasun neurodegeneratiboak eta beste lesio traumatiko batzuk (SP2) Pertsona horietako askorentzat, komunikatzeko bide bakarra begi-mugimendu mugatuak eta begi-keinuak egitea da; hala ere, erabateko itxialdi-sindromea dutenentzat, komunikazio hori bera ere ezinezkoa izan daiteke. SSIn oinarritutako komunikazio-sistema batek komunikatzeko modu eraginkorragoa eta efizienteagoa emango lieke, zaintzaile batek elkarrizketa bat hasteko edo haien ordez hitz egiteko beharrik gabe. Teknologia horrek, beraz, nabarmen hobetu lezake pertsona horien bizitza.

DeepRESTORE Espainian kokatutako bi ikerketa-taldek gauzatuko dute, kanpoko ikertzaileen lankidetza handiarekin. Proiektu hau ReSSInt proiektu koordinatuaren esparruan garatutako lankidetzaren jarraipena da, isilpeko ahotsaren ikerketari dedikatua. EHUko Aholab taldeak seinaleen prozesamenduan eta ahotsaren sintesian duen esperientzia erakutsi du. UGRko taldea ahots isileko interfazeen arloan esperientzia ikertzaile sendoa duen ikertzaile batek zuzentzen du. Bi taldeek nazioartean arlo horretan espezializatutako ikertzaileen babesa izango dute.