Meta та партнери створили ШІ, що перетворює думки на текст без операцій на мозку

Дослідники з Meta Artificial Intelligence, Університету PSL та лікарні Фонду Адольфа де Ротшильда представили систему, здатну перетворювати активність мозку на письмовий текст. Результати роботи опубліковані в журналі Nature Neuroscience.

Розробка використовує неінвазивні методи — електроенцефалографію (ЕЕГ) та магнітоенцефалографію (МЕГ). ЕЕГ фіксує електричні імпульси через датчики на шкірі голови, а МЕГ — надслабкі магнітні поля нейронів за допомогою шолома із надчутливими сенсорами. Такий підхід позбавлений ризиків, пов'язаних із хірургічною імплантацією мікродатчиків, яку потребують традиційні інтерфейси «мозок-комп'ютер» (BCI).

В експерименті взяли участь 35 здорових добровольців. Вони запам'ятовували та друкували короткі речення на стандартній клавіатурі, поки система фіксувала активність їхнього мозку. На основі зібраних даних створили алгоритм глибокого навчання Brain2Qwerty, який навчився розпізнавати та передбачати символи, що людина планує набрати, без фізичних рухів.

Точність декодування залежала від методу вимірювання. Для МЕГ середня похибка розпізнавання символів становила 29%, тоді як для ЕЕГ — 65%. У найкращих випробуваних показник МЕГ знижувався до 18%. Система також успішно розпізнавала речення, яких не було в початковому навчальному наборі.

Розробники вважають, що технологія скорочує розрив між безпечними неінвазивними методами та точністю імплантованих нейропротезів. У перспективі алгоритм планують адаптувати для керування протезами та іншими цифровими пристроями, що може допомогти людям із паралічем або важкими руховими порушеннями відновити комунікацію.