Команда дослідників розробила алгоритм, який дозволяє «декодеру мозку» на базі ШІ, навченому на одній людині, перекладати думки іншої людини з мінімальним навчанням. (Автор зображення: Джеррі Танг/Техаський університет в Остіні)
Вчені внесли нові вдосконалення в «декодер мозку», який використовує штучний інтелект (ШІ) для перетворення думок у текст.
Їх новий алгоритм конвертера може швидко навчити існуючий декодер на мозок іншої людини, повідомила команда в новому дослідженні. За словами вчених, відкриття одного разу може підтримати людей з афазією, розладом мозку, який впливає на здатність людини спілкуватися.
Декодер мозку використовує машинне навчання для перекладу думок людини в текст на основі відповідей її мозку на історії, які вона слухала. Однак минулі ітерації декодера вимагали від учасників слухати історії в апараті МРТ протягом багатьох годин, і ці декодери працювали лише для осіб, на яких їх навчали.
«Люди з афазією часто мають певні проблеми з розумінням мови, а також із її продукуванням», — сказав співавтор дослідження Олександр Хат, фахівець із обчислювальної нейробіології з Техаського університету в Остіні (UT Austin). «Тож якщо це так, то ми взагалі не зможемо побудувати моделі для їхнього мозку, спостерігаючи, як їхній мозок реагує на історії, які вони слухають».
У новому дослідженні, опублікованому 6 лютого в журналі Current Biology, Хут і його співавтор Джеррі Танг, аспірант UT Austin, досліджували, як вони можуть подолати це обмеження. «У цьому дослідженні ми запитували, чи можемо ми зробити щось інакше?» сказав він. «Чи можемо ми фактично перенести декодер, створений нами для мозку однієї людини, до мозку іншої людини?»
Дослідники спочатку навчили декодер мозку на кількох контрольних учасниках довгим шляхом — збираючи функціональні дані МРТ, поки учасники слухали 10 годин радіоісторій.
Потім вони навчили два алгоритми конвертера на контрольних учасниках і на різних «цільових» учасниках: один використовував дані, зібрані, коли учасники 70 хвилин слухали радіоісторії, а інший — 70 хвилин, переглядаючи німі короткометражні фільми Pixar, не пов’язані з радіоісторіями.
Використовуючи техніку під назвою функціональне вирівнювання, команда визначила, як мозок референтних і цільових учасників реагував на ті самі аудіо- чи кіноісторії. Вони використовували цю інформацію, щоб навчити декодер працювати з мозком учасників мети, без необхідності збирати багатогодинні навчальні дані.
Потім команда протестувала декодери, використовуючи коротку історію, яку ніхто з учасників раніше не чув. Хоча прогнози декодера були трохи точнішими для початкових еталонних учасників, ніж для тих, хто використовував конвертери, слова, які він передбачив на основі сканування мозку кожного учасника, все одно були семантично пов’язані зі словами, використаними в тестовій історії.
Наприклад, частина тестової історії включала те, що хтось обговорював роботу, яка йому не подобалася, кажучи: «Я офіціантка в кафе-морозиво. Отже, гм, це не… Я не знаю, де я хочу бути, але я знаю, що це не так». Декодер, який використовує алгоритм конвертера, навчений на даних плівки, передбачив: «Я був на роботі, яку вважав нудною. Мені доводилося виконувати замовлення, і вони мені не подобалися, тому я працював над ними щодня». Не зовсім збіг — декодер не зчитує точні звуки, які чули люди, сказав Хат, — але ідеї пов’язані.
«Дійсно дивовижним і цікавим було те, що ми можемо зробити це навіть без використання мовних даних», — сказав Хат Live Science. «Тож ми можемо мати дані, які ми збираємо просто тоді, коли хтось дивиться беззвучне відео, і потім ми можемо використати це, щоб створити цей мовний декодер для їхнього мозку».
За словами дослідників, використання відеоконверторів для передачі існуючих декодерів людям з афазією може допомогти їм висловити свої думки. Це також виявляє певне збіг між тим, як люди представляють ідеї з мови та з візуальних наративів у мозку.
«Це дослідження свідчить про те, що існує деяке семантичне представлення, якому не важливо, з якої модальності воно походить», — сказав Live Science Юкіясу Камітані, комп’ютерний нейроболог з Університету Кіото, який не брав участі в дослідженні. Іншими словами, це допомагає виявити, як мозок представляє певні поняття однаково, навіть якщо вони представлені в різних форматах.
Наступними кроками команди є випробування конвертера на учасниках з афазією та «створення інтерфейсу, який допоможе їм створити мову, яку вони хочуть створити», — сказав Хат.
Skyler WareСоціальні посилання Навігація Live Science Contributor
Скайлер Варе — незалежний науковий журналіст, який висвітлює хімію, біологію, палеонтологію та науку про Землю. У 2023 році вона була стипендіатом науково-технічного відділу мас-медіа AAAS у Science News. Її роботи також з’являлися в Science News Explores, ZME Science і Chembites, серед інших. Скайлер має ступінь доктора філософії. в хімії з Каліфорнійського технологічного інституту.
Перш ніж коментувати, потрібно підтвердити своє загальнодоступне відображуване ім’я
Будь ласка, вийдіть, а потім увійдіть знову, після чого вам буде запропоновано ввести ваше відображуване ім’я.
Вийти
Sourse: www.livescience.com
