哪個更適合概念可視化?形狀或精神相似性：來自事件相關電位的證據

01 研究背景

圖像和文字是視覺傳播的重要媒介。與文字相比，圖像創造了直觀和生動的感覺。概念可視化在視覺設計領域發揮著重要的作用，在我們的頭腦中構建了多模態映射。普遍接受的雙碼理論認為，所有的概念可以分為兩類，具體的和抽象的。具體的詞語可以通過附加的意象代碼來體驗，而抽象的詞語只有語言代碼。分類關系是對具體詞語進行多模態映射討論最多的一種。事件相關電位(ERPs)顯示，N300效應存在于類別錯配和下屬錯配之間，而N400效應存在于基礎錯配和下屬錯配[6]之間。當進一步細化為自然和人工的類別時，不匹配的圖片比匹配的圖片具有更低的準確率和更長的RTs，自然和基本的圖片比對應的圖片具有更長的RTs，但自然匹配的交互試驗比人工匹配的交互試驗花費更長的RTs。ERP推斷N300索引的一致性和抽象，而P600成分意味著索引的類別。

考慮到概念可視化的現狀，設計方案之間的差異遠非簡單的好壞判斷，ERP實驗為探討多模態加工機制提供了良好的參考。

02 研究方法

2.1、實驗被試

18名被試（10名女性，8名男性，年齡范圍在21-27歲，平均年齡=22.5，SD=2.7）母語為漢語，右利手，沒有神經、精神或情緒障礙，也無教育剝奪經歷。所有的被試活動實驗的知情同意權。

2.2、實驗材料

采用命名試驗選根。選取的60對灰色圖像具體詞在熟悉度得分和命名時間上無顯著差異。

要求10名工業設計的研究生盡可能從原型中運用灰度和線條圖概念可視化。每張圖片的輪廓為5像素，圖像大小為128*128像素(帶背景)。同時，具體的詞語在主題上或隱喻上被抽象。文字被精煉成兩三個24像素大小的漢字和微軟雅黑字體。所有方案均采用五分制進行評估，選出評分最高的圖片和概念，構建60組，如圖1所示。為避免判斷同一性帶來的不利影響，本實驗采用15組進行練習，并在實驗中作為判斷干擾進行交叉。其它45組是最終目標。

圖1  刺激示意圖

2.3、實驗流程

刺激呈現在一個27寸的屏幕上，亮度為1920*1080像素。被試與屏幕中心的距離約為620mm。實驗程序是通過E-prime 2.0軟件編寫。在每次實驗開始時，在黑色背景的屏幕中央出現一個注視點“+”，持續約600ms，隨后，圖片（S1）呈現1000ms，隨后是隨機持續時間的空屏，時間持續為600-800ms。單詞（S2）出現在屏幕上，直到被試做出反應。要求被試從S1到S2比較匹配或不匹配，并通過用左手或右手食指按兩個鍵(F或J)中的一個做出反應。對左手和右手的匹配和不匹配反應的分配在被試間平衡。在他們回答后，一個空白屏幕隨機出現，持續時間為600 – 800ms。記錄S2出現后的ERPs。

2.4、數據采集和處理

采用國際10 - 20系統的32 導電極帽，以FCz電極作為接地電極，eego mylab放大器（ANT Neuro, Inc）連續記錄(采樣率500 Hz)的腦電數據，所有電極的阻抗均維持在5 kΩ以下。

利用EEGLAB工具箱在MATLAB中進行預處理。離線時處理時，進行低通濾波(30 Hz/24 dB)，并轉換參考為M1和M2電極的平均值。剔除低信噪比片段的腦電數據，然后進行獨立成分分析(ICA)。使用ADJUST 1.1.1校正眼電(EOG)、肌電(EMG)和汗液等偽跡。根據S2出現時的-200 ~ 1000 ms將腦電數據分為多個時段，刺激前200 ms為基線。時段按條件分類，剔除幅度超過±100 μV之外的數據。結果平均剔除率為9.5%，每個被試在每個條件下平均保留41個epoch�？偲骄�波形如圖2所示。本研究提取了不同條件和區域的振幅值。對于所有條件的時域信號的幅值差異使用spss11進行分析。

圖2 四種多模態映射誘發ERP總平均波形

如圖2和圖4所示，在條件下誘導了N1、P2、N400和P600效應。結合圖3和圖5，N1和P2成分在前部區域更為明顯，N400成分在中央-頂葉區域差異明顯，P600效應在整個區域差異顯著。

峰值明顯的是在N1（130-180ms），P2（230-280ms）。選取FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4電極附近的平均振幅為50 ms進行分析。N400 (300 ~ 500 ms)和P600 (600 ~ 800 ms)的波幅比較 “溫和”，因此將時間過程除以100 ms，選擇平均波幅進行分析(N400的FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6；FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6、P3、Pz、P4用于分析P600)。

03 實驗結果

行為結果：

條件的主效應顯著，形象化與精神性結合所用的時間都比精神性結合所用的時間短。

ERP結果：

圖3.在不同條件下分別在130 -180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的地形圖

圖4. 四種多模態條件下的ERP差異波

圖5.在130 - 180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的時間序列中多模態映射之間的差異引發的地形圖。

N1成分中，類型的主效應邊緣顯著，其它效應不顯著。

P2成分中，類型和位置的交互效應顯著，左側類型的幅度值更大。

N400成分中，類型和位置的交互效應顯著，在額中央，中央，和中央頂葉區，精神型幅度值大于形狀型。

P600成分中，類型的主效應顯著，類型和位置的交互效應顯著，精神性的平均振幅大于形狀型的平均振幅，形狀-抽象的振幅與形狀-混凝土的振幅呈現相反的趨勢。

04 實驗結論

概念形象化是一項主觀工作，可能會在不知情的情況下產生認知危險。行為結果表明，形狀相似在速度和準確性上優于精神相似，而具體的詞比抽象的詞更容易被接受為一種相關的圖像。N1、P2和N400成分在所有條件下都被提取出來，表現出與行為結果相似的表現，表明多通道映射之間的加工開始時間差異。精神相似-具體概念條件與其他三種條件相比，得到了明顯的P600/LPC，說明了多模態映射中具體性效應的復雜機制。

05 文獻名稱及DOI號

Zhou, L. ,  Ma, J. ,  X  Zhou,  Niu, Y. , &  Xue, C. . (2021). Which is better for concept visualization? shape or spirit similarity: evidence from event-related potentials. Neuroscience Letters, 749, 135755.

DOI：10.1016/j.neulet.2021.135755