До першої ноти: де народжується звук

Автор: Inna Horoshkina One

До першої ноти: де народжується звук-1
Тиша входить у тіло золотим вертикалем, розкривається в серці і стає диханням, хвилею, звучанням.

Спочатку — тиша.

Але ця тиша не порожня. У ній уже присутнє те, що прагне проявитися: ледь розрізнюване внутрішнє звучання, яке ще не стало голосом, мелодією чи рухом.

Музикант вслухається в нього не лише слухом. Він приймає його увагою, дозволяє йому увійти в дихання, пройти крізь м'язи, жести й руки. І лише потім те, що існувало всередині без фізичного звуку, стає коливанням повітря — нотою, яку здатні почути інші.

Тиша народжує намір.
Намір входить у тіло.
Тіло переводить невидиме в звук.

Тепер до цієї межі проявлення наблизилася нейронаука. Дослідники вчаться розпізнавати активність мозку, що виникає ще до того, як людина змогла вимовити слово, і перетворювати її на чутну мову, міміку та рух цифрового тіла.

Наука поки не пояснює таємницю народження музики. Але вона вже здатна побачити: перш ніж голос зазвучить у зовнішньому світі, всередині людини відбувається ціла симфонія.

Повернути не лише слова

14 вересня 2026 року в рецензованому журналі Nature Neuroscience було опубліковано роботу Simultaneous speech and gesture decoding for multimodal communication in paralysis — «Одночасне декодування мовлення та жестів для мультимодальної комунікації при паралічі».

Дослідження провела команда Каліфорнійського університету в Сан-Франциско під керівництвом нейрохірурга та нейробіолога Едварда Чанга. Провідною авторкою стала дослідниця Саманта Брослер.

В експерименті брали участь три людини з різним ступенем паралічу мовного апарату й тіла. На поверхню моторної кори їхнього мозку було встановлено електрокортикографічні матриці — тонкі пластини з електродами, що реєструють нейронну активність.

Учасники намагалися вимовляти задані фрази та виконувати знайомі жести: махати рукою, показувати великий палець, хитати головою. Іноді вони робили це окремо, іноді — одночасно.

Алгоритми машинного навчання шукали в отриманих сигналах закономірності, що відповідають спробі сказати певні слова або здійснити рух. Потім розпізнаний намір переводився в дії цифрового аватара.

У результаті двоє учасників змогли одночасно керувати його мовленням і жестами.

Це принципово важливий крок. Людське спілкування ніколи не обмежується послідовністю слів. Ми говоримо всім тілом: змінюємо вираз обличчя, повертаємо голову, рухаємо руками, підкреслюємо сенс поглядом і паузою.

Нова технологія прагне повернути людині не лише можливість передати інформацію, а й частину її індивідуальної присутності.

Тіло не супроводжує голос — воно бере участь у ньому

Один із найцікавіших результатів дослідження стосується того, як мозок з'єднує мовлення та рух.

Можна було припустити, що одночасне вимовляння фрази й жест — це просте додавання двох незалежних сигналів. Однак нейронна активність при суміщеному вираженні відрізнялася від тієї, яка виникала, коли слова й рухи виконувалися роздільно.

Алгоритми точніше розпізнавали одночасне мовлення та жести, якщо попередньо навчалися саме на таких суміщених діях.

Інакше кажучи, людське вираження виявилося не механічною сумою окремих елементів.

Голос, обличчя й рух народжуються як єдина подія.

Ми можемо спостерігати це і в музиці. Співак не просто продукує звук голосовими зв'язками. У звучанні беруть участь дихання, положення хребта, грудна клітка, м'язи обличчя й внутрішнє відчуття простору. Піаніст торкається клавіші всім тілом, навіть якщо видимий рух здійснює один палець. Танцівник чує ритм не лише вухами — він переводить його у вагу, напрямок і траєкторію руху.

Тіло не є упаковкою для звуку. Воно стає частиною музичного висловлювання.

Звук, якого ще немає

23 вересня 2026 року на платформі arXiv з'явився великий науковий огляд Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond. Його автори зіставили дослідження, в яких мозкову активність намагаються переводити в текст, синтезоване мовлення, акустичне звучання та візуальну експресію.

Автори розглядають три напрями:

  • мовлення, яке людина намагається вимовити;
  • внутрішнє мовлення, що звучить без зовнішнього вимовляння;
  • сприйняття почутої мови.

Огляд наразі є препринтом і не пройшов рецензування. Це не повідомлення про створення нової системи і тим більше не доказ можливості вільно читати людські думки. Його цінність в іншому: він показує, наскільки близько різні наукові напрями підійшли до простору між наміром і проявом.

Дослідники вже працюють не лише з окремими командами. Деякі експериментальні системи створюють потокове синтезоване мовлення, наближають його звучання до індивідуального голосу людини та поєднують слова з рухами цифрового обличчя.

Але чим виразнішими стають такі системи, тим важливішим є питання: що саме вони розпізнають?

Мозковий сигнал не містить готового речення, яке достатньо просто «прослухати». Алгоритм інтерпретує складну активність нервової системи, зіставляє її з навчальними даними та вибирає найімовірніший результат.

Тому те, що фраза звучить зв'язно, ще не означає, що машина повністю й безпомилково відтворила внутрішній досвід людини. Частину результату може бути добудовано мовною моделлю.

Це не читання душі. Це складний переклад — поки що недосконалий, індивідуально налаштовуваний і такий, що потребує постійного зворотного зв'язку з самою людиною.

Хто є автором відтвореного голосу

Досі головною метою мовленнєвих нейропротезів була точність: скільки слів система розпізнала правильно і наскільки швидко змогла їх відтворити.

Тепер постає глибше питання — про авторство.

Якщо алгоритм допомагає людині виразити намір, він стає інструментом, подібним до музичного інструмента. Але якщо система починає самостійно добудовувати занадто багато, межа між допомогою і підміною стає менш очевидною.

Тому розвиток таких технологій неможливо оцінювати лише за швидкістю та відсотками розпізнавання. Необхідні контроль користувача, можливість виправити результат, прозорість роботи алгоритму та збереження права людини вирішувати, що саме має прозвучати від її імені.

Справжній голос — це не лише правильний набір слів.

Це тембр.
Ритм.
Пауза.
Жест.
Емоційне забарвлення.
І свобода не говорить.

Повернути голос означає повернути людині можливість упізнавати себе у власному вираженні.

Що це відкриває музиці

Музиканти давно знають те, до чого нейронаука лише добирає мову: звучання починається раніше за фізичну ноту.

Композитор може почути внутрішню музичну лінію до дотику до інструмента. Співак здатен заздалегідь відчути напрямок фрази і лише потім наповнити її диханням. Імпровізатор не завжди знає, яка нота виникне наступною, але відчуває рух, який уже готується пройти крізь тіло.

Наука описує ці процеси через моторне планування, слухові образи, пам'ять, прогнозування та взаємодію різних ділянок мозку. Музикант переживає їх як мить внутрішнього впізнавання:

ось звук, який хоче проявитися.

Це не означає, що прилад здатен записати готову музику безпосередньо зі свідомості або розкрити джерело натхнення. Між внутрішнім відчуттям і твором залишається величезний шлях — вибір, навчання, техніка, культура, пам'ять і неповторна історія людини.

Але нові дослідження дозволяють інакше побачити сам момент творчості.

Музика народжується не тоді, коли повітря почало коливатися. Фізичний звук — уже одна з останніх стадій процесу. До нього існує спрямована увага, передчуття форми й готовність тіла втілити те, що ще неможливо почути ззовні.

До першої ноти

Ми звикли вважати початком музики удар по барабану, дотик до клавіші або перший рух голосових зв'язок.

Але, можливо, це вже не початок, а прояв.

До першої ноти існує внутрішній простір, у якому ще не розділені звук, почуття й рух. Потім виникає намір. Він збирає увагу, змінює дихання, вмикає нейронні та м'язові процеси — і поступово входить у матерію.

Нейронаука вчиться фіксувати окремі етапи цього переходу. Технологія намагається повернути людям із паралічем можливість виражати себе. А музика нагадує, що голос ніколи не був лише акустичним сигналом.

Він народжується всією цілісністю людини.

І, можливо, найперша нота звучить не в повітрі. Вона виникає тієї миті, коли Тиша всередині нас обирає форму, у якій хоче стати чутною.


17 Перегляди

Коментарі

Знайшли помилку чи неточність?Ми розглянемо ваші коментарі якомога швидше.