音樂響起。身體開始擺動。表演者的臉上閃現情感。
看似這三種語言同時講述同一個故事。但只要將動作與旋律分離，或隱藏舞者的臉龐，情感意義便會面目全非。有時音樂強化手勢，使其更具說服力。有時身體與聲音相悖，產生富有成效的張力。而常常，它們的結合反而意外地削弱了感受，彷彿信號相互干擾，而非疊加。
新研究揭示了一個不顯而易見的結果：我們接收的表達信號越多，情感未必越強烈。效果取決於情感本身——對每種感受而言，都存在一個最佳的感知通道組合。
多模態溝通：聲音與身體動作中的情感
4月2026日 在同行評審期刊 Music Perception 上發表了一篇文章 Perceived and Felt Emotion in Music and Dance: Multimodal Communication Is Emotion-Specific ——一項關於音樂與舞蹈中感知與體驗情感如何取決於傳遞方式的研究。
這項工作由四位學者完成：紐約茱莉亞學院的馬可·蘇西諾、倫敦大學金匠學院的曼努埃爾·安格拉達-托特，以及芬蘭于韋斯屈萊大學的蘇維·薩里卡利奧和比爾吉塔·布爾格。團隊結合了音樂學、感知心理學以及身體與情感關係研究的專業知識。
研究方法經過精心設計。研究人員使用了一段現場音樂舞蹈表演的錄像，並創建了四個不同的版本：
- 僅表演者的臉龐——身體動作被黑色背景隱藏；
- 僅手勢與動作——臉龐被遮蓋；
- 僅音樂而無影像；
- 完整表演：音樂、面部表情與舞蹈同時呈現。
165名參與者 被隨機分配到四種條件之一。每人觀看或聆聽其中一個版本，並以百分制評估六種基本情感，回答兩個截然不同的問題：
- 表演者表達這種情感的說服力如何？（感知情感）
- 多麼強烈地 我自己 感受到這種情緒？（體驗情緒）
這個區分是關鍵。研究人員區分了我們 在理智上辨識與理解的內容，以及真正 在我們內心作為直接體驗而產生的內容。這種區分在藝術情緒研究中很少見。
理解感受並不等於體驗它
結果對許多人來說出乎意料。平均而言，參與者對表演表達力與說服力的評分，比對自身情緒體驗強度的評分高出約 七分，高於自身情緒體驗的強度。
想像一下：一個人看得非常清楚——這是恐懼、憤怒、悲傷。形象清晰，信號明確。但情緒並未以他所觀察到的同樣強度抓住他。我們能夠讀懂藝術家的情感訊息，卻不會完全成為其俘虜。對情緒的理智辨識與內在體驗，並非同一回事。
在辨識情緒與體驗情緒之間存在著縫隙。正是在這個空間中，作品、表演者與觀眾的個人內心世界相遇——帶著他所有的偏見、記憶與狀態。情緒不會因命令而產生，即使信號極其清晰。
更多未必更強：多模態的悖論
研究最驚人的結果是：音樂、表情與動作的結合 並未持續產生比單一元素更強大的效果。相反，增加資訊通道的數量有時反而削弱了體驗。
結果在很大程度上取決於具體的情緒。對某些感受而言，某一特定的表達方式特別重要——例如，對恐懼來說，聲音是關鍵，而表情的影響極小。對其他情緒，多種信號的結合並未增強效果，反而中和了它。尤其值得注意的是，在憤怒的情況下，完整的表演版本（音樂＋臉龐＋舞蹈）甚至 降低了體驗的強度 在觀眾身上。
為什麼？研究人員提出解釋：額外的信號可能使形象變得過於複雜。音樂傳達一種訊息——例如，透過不和諧與音量傳達攻擊性。表情增添了一層色調——也許是痛苦或絕望。而動作則提供自身的詮釋——也許是防衛或展示力量。與其簡單相加，不如說產生了多重互動，其中信號彼此協調、製造張力或相互矛盾。這種複雜性可能模糊了最初的情緒衝動。
然而，重要的是不要賦予這項工作超出其顯示的內容。科學家研究了參與者的主觀評分，但沒有直接測量他們的大腦活動和生理反應。這項研究並未揭示 哪些神經機制 構成音樂、表情和動作整合的基礎。相反，它展示了實際結果：觀眾如何感知多模態刺激並在情緒上做出反應，可以透過他們的主觀判斷來發現和衡量。
舞蹈有聲，音樂有動
音樂本身已包含運動。它加速又停滯，升起又落下，累積張力並在高潮中解決。即使沒有實際的舞者，我們也能在聲音中感受到接近與退卻、沉重與輕盈、飛升與墜落。節奏是音樂跳動的心臟。
舞蹈使這種看不見、非物質的動態變得可見、具體化。身體將節奏轉化為步伐，將音樂的停頓轉化為凝固的姿態，將旋律的上升轉化為手臂的飛揚。每個動作都是從一種藝術語言到另一種的翻譯。
但舞者不只是忠實地詮釋樂曲。他擁有重新定義音樂中蘊含的情緒意義的能力。柔和、流暢的動作可以緩和緊張、焦慮的音樂，賦予其抒情性。而尖銳、斷裂的姿態則能在看似平靜的旋律中發現隱藏的焦慮，將其顛倒重新詮釋。舞蹈不是評論，而是與音樂的對話。
於是誕生了第三件藝術作品：不再只是書面樂譜，也不只是音樂聲響，不只是編舞——而是它們生動相遇的空間，一場就在我們眼前發生的對話。
情緒存在於我們之間的空間
這項工作有助於理解藝術的悖論之一：為什麼同一場演出會在不同觀眾心中引發截然不同的狀態。為什麼一位觀眾被情感的浪潮席捲，而另一位卻幾乎無動於衷？
原因不在於偶然。我們感知的不只是機械堆疊的個別元素。我們注意到它們之間的關係與連結：微笑是否與旋律的性質相符，動作是否與節奏脈動相應，肢體語言是否支持臉部所表達的情感。我們不斷檢驗一致性。
然後，觀眾自身積極地進入這個組合——帶著他自己的記憶、文化與經驗，帶著當前的情緒狀態與預感。他的存在不是被動的。他不是一張白紙，等待被蓋上現成的情緒。他是參與者。
因此，情緒並非單獨存在於音樂作品內部或舞者的身體中。它誕生於聲音、身體姿態與感知者之間的活生生相遇。這是一場三方的行動，每一方都同樣不可或缺。
心會相信誰？
這項新研究並未為長久以來的爭論提供最終贏家：音樂、臉龐或舞蹈，哪個更重要？相反，它令人信服地表明，並不存在普遍的主要管道。
對於某一種情緒，音樂本身聽起來更具說服力——其細微的微調變、其結構。對於另一種，動作具有決定性作用——動態、能量、身體的節奏。第三種則在臉部的微表情中展現——在眼瞼肌肉幾乎察覺不到的收縮或嘴唇的彎曲中。而最複雜的情感則需要三個管道之間並非一致，而是幾乎察覺不到的矛盾，正是這種矛盾創造了深度。
也許正因如此，藝術才能觸動我們，儘管我們心存懷疑與防衛。它不將情緒當作現成的物品從手傳到手。它不強加情感。相反，藝術邀請我們辨識情緒，在所有的複雜性中解碼它——然後自己決定允許它進入我們心中多深。
音樂響起。身體回應其呼喚。臉龐訴說自己的故事，這個故事可能與前兩者一致，也可能不同。
心不會從三者中選擇相信誰。相反，它將聲音、動作與目光交織在一起——並在這種複雜的纏繞中，辨識出一種統一的、完整的情感，它已超越其各部分的總和。
