[et_pb_section fb_built=”1″ _builder_version=”4.27.0″ _module_preset=”default” global_colors_info=”{}”][et_pb_row _builder_version=”4.27.0″ _module_preset=”default” max_width=”80%” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.27.0″ _module_preset=”default” global_colors_info=”{}”][et_pb_blurb title=”1. azpiproiektua” image=”https:\/\/aholab.ehu.eus\/deeprestore\/wp-content\/uploads\/2024\/07\/DEEP-RESTORE-favicon.webp” icon_placement=”left” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_text_color=”gcid-primary-color” header_font_size=”20px” body_text_color=”gcid-secondary-color” body_font_size=”25px” custom_margin=”||||false|false” custom_padding=”||7px||false|false” animation=”off” hover_enabled=”0″ border_width_bottom=”1px” border_color_bottom=”gcid-primary-color” global_colors_info=”{%22gcid-primary-color%22:%91%22border_color_bottom%22,%22header_text_color%22%93,%22gcid-secondary-color%22:%91%22body_text_color%22%93}” sticky_enabled=”0″]Hizketa berrezartzeko ikaskuntza sakona, aurpegi-mugimenduen bioseinaleetatik abiatuta
\n[\/et_pb_blurb][\/et_pb_column][\/et_pb_row][et_pb_row column_structure=”3_5,2_5″ make_equal=”on” _builder_version=”4.27.0″ _module_preset=”default” global_colors_info=”{}”][et_pb_column type=”3_5″ _builder_version=”4.27.0″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.27.2″ _module_preset=”default” hover_enabled=”0″ global_colors_info=”{}” sticky_enabled=”0″]<\/p>\n
DeepRestorek isilpeko ahots interfazeen erabilera ikertzea du helburu, hitz egiteko gaitasuna galdu duten pertsonengan komunikazioa berrezartzeko. Isilpeko ahots interfazeak ahotsa soetzeko prozesuan sortutako seinale biologiko ez-akustikoak atzematen dituzten gailuak dira, eta nahi den mezua iragartzeko erabiltzen dituzte. Silent-Speech-to-Text interfazeak \u2014SSI\u2014 ahotsa ezagutzeko testuinguruan ikertu badira ere, proiektu hau zuzeneko ahotsaren sintesi-tekniketan zentratzen da, zuzenean sortzeko bere irteerari dagokion ahots-uhinaren forma.
\nProiektu koordinatuan ikertuko diren bi seinale biologikoetatik, 1. azpiproiektuan, hizketa sortzen duen aparatuaren mugimenduek sortutako bi bioseinale atzemango dira: hizketaren ekoizpenean inplikatutako aurpegiko eta lepoko muskuluek sortutako seinale elektrikoak (sEMG seinaleak) eta aurpegitik hartutako bideo-irudiak. Aurpegian eta eztarrian kokatutako sentsore-multzo bat eta kamera bat erabiliz, eta seinale akustikorik erabili gabe, SSI gailuak seinale horiek deskodetuko ditu dagokion testu-mezuan (EMG testura) edo mezu akustikoan (EMG ahotsera). Horretarako, ikaskuntza sakonean oinarritutako teknika algoritmikoak erabiliko dira.<\/p>\n
Isilpeko ahots- interfazeak beste testuinguru batzuetan erabil daitezkeen arren (adibidez, segurtasun-testuinguruan, telefono batean pribatutasuna mantentzeko), gure proiektuaren ardatza laringektomia osoko ebakuntza egin zaien pertsonei ahotsa ematea da. Ikasketa sakoneko aldi baten ondoren, pertsona horiek hestegorrikoa deritzon ahots bat berreskuratzen dute, baina ahots horren ezaugarriak eta hizketa osasuntsuarenak oso desberdinak dira. Oraindik ere mintzamenaren artikulatzaileen gaineko kontrola dutenez, artikulatzaileen mugimenduak islatzen dituzten hizketa isileko datuak atzeman eta hizketa artifizial bihur daitezke.<\/p>\n
Gure ustez, sEMGn oinarritutako SSI gailuek nabarmen hobetu dezakete pertsona horien bizi-kalitatea. Proiektuak irauten duen bitartean, gaztelaniaz dauden datu-baseak beste hizkuntza batzuetan (ingelesez) dauden datuekin osatuko dira, eta ikertzaileen eskura egongo dira. Horrez gain, SoA Deep Neural Networks-en erabileran sakonduko da, ikasketa arkitektura berriei lagunduz. Proiektua hizketa mutuaren arloko nazioarteko adituen lankidetzarekin gauzatuko da, eta Bizkaiko Laringektomizatuen Elkartearekin lankidetzan arituko da, ez soilik datuak biltzeko: baita, garrantzitsuagoa dena, garatutako teknikak ebaluatzeko eta baliozkotzeko ere.
\n[\/et_pb_text][et_pb_blurb title=”Helburuak” image=”https:\/\/aholab.ehu.eus\/deeprestore\/wp-content\/uploads\/2024\/07\/DEEP-RESTORE-favicon.webp” icon_placement=”left” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_font_size=”23px” animation=”off” hover_enabled=”0″ border_width_bottom=”1px” border_color_bottom=”gcid-primary-color” global_colors_info=”{%22gcid-primary-color%22:%91%22border_color_bottom%22%93}” sticky_enabled=”0″][\/et_pb_blurb][et_pb_blurb title=”Hizkuntza anitzeko datu-base bat garatzea, ingeleserako eta gaztelaniarako bideoan oinarritutako EMG eta SSIko hainbat hizkuntzatako azterlanetarako.” use_icon=”on” font_icon=”||fa||900″ icon_placement=”left” image_icon_width=”25px” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_font_size=”17px” header_line_height=”1.2em” width=”100%” custom_margin=”||4px||false|false” hover_enabled=”0″ custom_css_blurb_title=”margin-left: -20px;” global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_blurb][et_pb_blurb title=”EMG+bideotik testura sistema multimodal bat garatzea, gaztelaniarako ” use_icon=”on” font_icon=”||fa||900″ icon_placement=”left” image_icon_width=”25px” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_font_size=”17px” header_line_height=”1.2em” width=”100%” custom_margin=”||4px||false|false” hover_enabled=”0″ custom_css_blurb_title=”margin-left: -20px;” global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_blurb][et_pb_blurb title=”Ahotsa sortzeko sistema multimodal bat garatzea, bideoa+EMGa oinarri hartuta, gaztelaniarako” use_icon=”on” font_icon=”||fa||900″ icon_placement=”left” image_icon_width=”25px” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_font_size=”17px” header_line_height=”1.2em” width=”100%” custom_margin=”||4px||false|false” hover_enabled=”0″ custom_css_blurb_title=”margin-left: -20px;” global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_blurb][et_pb_blurb title=”Hizkuntzen arteko egokitzapenerako eta EMG+bideoan oinarritutako ahotsa sortzeko sistemetan ikaskuntza transferitzeko teknika berritzaileak garatzea.” use_icon=”on” font_icon=”||fa||900″ icon_placement=”left” image_icon_width=”25px” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_font_size=”17px” header_line_height=”1.2em” width=”100%” custom_margin=”||4px||false|false” hover_enabled=”0″ custom_css_blurb_title=”margin-left: -20px;” global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_blurb][\/et_pb_column][et_pb_column type=”2_5″ _builder_version=”4.27.0″ _module_preset=”default” custom_padding=”|||10px|false|false” border_width_left=”1px” border_color_left=”#dbdbdb” global_colors_info=”{}”][et_pb_image src=”https:\/\/aholab.ehu.eus\/deeprestore\/wp-content\/uploads\/2024\/09\/N004.webp” title_text=”N004″ _builder_version=”4.27.0″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_image][ba_dual_button btn_alignment=”center” btn_a_text=”1. azpiproiektua (SP1)” btn_a_link=”@ET-DC@eyJkeW5hbWljIjp0cnVlLCJjb250ZW50IjoicG9zdF9saW5rX3VybF9wYWdlIiwic2V0dGluZ3MiOnsicG9zdF9pZCI6IjIwNiJ9fQ==@” btn_b_text=”2. azpiproiektua (SP2)” btn_b_link=”@ET-DC@eyJkeW5hbWljIjp0cnVlLCJjb250ZW50IjoicG9zdF9saW5rX3VybF9wYWdlIiwic2V0dGluZ3MiOnsicG9zdF9pZCI6IjIwNyJ9fQ==@” connector_type=”icon” connector_icon=”$||divi||400″ button_gap=”10px” _builder_version=”4.27.2″ _dynamic_attributes=”btn_a_link,btn_b_link” _module_preset=”default” custom_btn_a=”on” btn_a_text_size=”1rem” btn_a_text_color=”#FFFFFF” btn_a_bg_color=”#209fc2″ btn_a_border_width=”1px” btn_a_border_color=”#FFFFFF” btn_a_border_radius=”9px” btn_a_icon=”$||divi||400″ custom_btn_b=”on” btn_b_text_size=”1rem” btn_b_text_color=”#FFFFFF” btn_b_bg_color=”gcid-secondary-color” btn_b_border_width=”1px” btn_b_border_color=”#FFFFFF” btn_b_border_radius=”12px” btn_b_use_icon=”off” hover_enabled=”0″ global_colors_info=”{%22gcid-secondary-color%22:%91%22btn_b_bg_color%22%93}” sticky_enabled=”0″][\/ba_dual_button][et_pb_blurb title=”Azken argitalpenak” image=”https:\/\/aholab.ehu.eus\/deeprestore\/wp-content\/uploads\/2024\/07\/DEEP-RESTORE-favicon.webp” icon_placement=”left” content_max_width=”100%” _builder_version=”4.27.2″ _module_preset=”default” header_text_color=”gcid-secondary-color” body_text_color=”gcid-secondary-color” width=”100%” animation=”off” hover_enabled=”0″ custom_css_blurb_title=”margin-top: 5px;||margin-left: -10px;” border_width_bottom=”1px” border_color_bottom=”gcid-primary-color” global_colors_info=”{%22gcid-secondary-color%22:%91%22body_text_color%22,%22header_text_color%22%93,%22gcid-primary-color%22:%91%22border_color_bottom%22%93}” sticky_enabled=”0″][\/et_pb_blurb][ba_post_list posts_number=”4″ excerpt_length=”100″ item_spacing=”30px” item_padding=”0px|0px|30px|0px|false|false” image_spacing=”23px” meta_spacing=”5px” excerpt_spacing=”10px” _builder_version=”4.27.0″ _module_preset=”default” title_font=”|700|||||||” title_text_color=”gcid-secondary-color” title_font_size=”1.2rem” content_text_color=”#354559″ content_font_size=”1rem” meta_font=”|700|||||||” meta_text_color=”#354559″ meta_font_size=”1rem” border_radii_image=”on|3px|3px|3px|3px” border_width_bottom_post=”1px” border_color_bottom_post=”#e2e5ed” global_colors_info=”{%22gcid-secondary-color%22:%91%22title_text_color%22%93}”][\/ba_post_list][\/et_pb_column][\/et_pb_row][\/et_pb_section]<\/p>\n","protected":false},"excerpt":{"rendered":"
Hizketa berrezartzeko ikaskuntza sakona, aurpegi-mugimenduen bioseinaleetatik abiatuta SP1-en Deskribapena DeepRestorek isilpeko ahots interfazeen erabilera ikertzea du helburu, hitz egiteko gaitasuna galdu duten pertsonengan komunikazioa berrezartzeko. Isilpeko ahots interfazeak ahotsa soetzeko prozesuan sortutako seinale biologiko ez-akustikoak atzematen dituzten gailuak dira, eta nahi den mezua iragartzeko erabiltzen dituzte. Silent-Speech-to-Text interfazeak \u2014SSI\u2014 ahotsa ezagutzeko testuinguruan ikertu badira ere, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_et_pb_use_builder":"on","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"class_list":["post-434","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/pages\/434","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/comments?post=434"}],"version-history":[{"count":3,"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/pages\/434\/revisions"}],"predecessor-version":[{"id":497,"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/pages\/434\/revisions\/497"}],"wp:attachment":[{"href":"https:\/\/aholab.ehu.eus\/deeprestore\/eu\/wp-json\/wp\/v2\/media?parent=434"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}