Жінка, паралізована 18 років, “заговорила” через нейропротез та анімований аватар (ВІДЕО)

Скриншот із відео

За допомогою нової технології мозково-комп’ютерний інтерфейс (brain-computer-interface, BCI) змогла “заговорити” жінка, паралізована вже 18 років. Мовлення відбувається через анімовану картинку, яка виводиться на екран, інформує Суспільне.

Це винахід учених з Каліфорнійського університету в Сан-Франциско. Прилад ВСІ дає надію на покращення життя людей, які втратили здатність говорити через такі захворювання, як інсульт і бічний аміотрофічний склероз (БАС).

Як пише The Guardian, пацієнткою стала 47-річна Енн, паралізована після інсульту стовбура мозку понад 18 років тому. Вона не може ані говорити, ані друкувати щось на комп’ютері, тому зазвичай спілкувалася за допомогою технології відстеження рухів, яка дозволяє їй вибирати літери зі швидкістю до 14 слів на хвилину.

Фахівці імплантували на поверхню мозку жінки прямокутник завтовшки з аркуш паперу. Там міститься 253 електродів. Прилад встановили над частиною мозку, що відповідає за мовлення. Електроди перехоплювали сигнали мозку, які, якби не наслідки інсульту, керували б м’язами язика, щелепи, гортані та обличчя Енн.

Після імплантації жінка працювала з командою, щоб навчити алгоритм штучного інтелекту виявляти її сигнали мозку, що створюють різні звуки. Комп’ютер вивчив 39 характерних для Енн звуків, і мовна модель ChatGPT переклала сигнали у зрозумілі речення. Далі ці напрацювання використали для аватара на екрані, що має голос, схожий на голос Енн. Голос створили на основі відеозапису Енн на весіллі, до інсульту. Вона сподівається, що з часом завдяки цьому пристрою зможе працювати консультанткою.

“Мовні нейропротези можуть допомогти спілкуватися з паралізованими людьми, — йдеться у вступі до статті “Високоефективний нейропротез для декодування мовлення й керування аватаром”. Над дослідженням працювали 15 авторів, керував професор Едвард Чанг.

Ілюстрація з дослідження про мовний нейропротез. Скриншот: nature.com

Вчені визнають: природну швидкість і виразність людського мовлення неможливо відтворити. Однак, за словами науковців, отримані точність і швидкість мовлення свідчать про те, що технологія зараз уже може бути корисною для пацієнтів.

Дослідники використали записи мовленнєвої кори головного мозку учасника клінічного дослідження з важким паралічем кінцівок і голосового апарату, щоб декодувати мовлення у високій якості в режимі реального часу.

“Ми тренували та оцінювали моделі глибокого навчання, використовуючи нейронні дані, зібрані, коли учасник намагався мовчки вимовляти речення. Вийшло точне та швидке декодування мовлення великого словникового запасу із середньою швидкістю 78 слів на хвилину та середнім коефіцієнтом помилок у словах 25 %. Декодери досягли високої продуктивності менш ніж за два тижні навчання”, — йдеться в статті.

Наступний етап — створення бездротової версії мовного нейропротеза. Такий можна було б імплантувати під череп.