腦磁圖和腦電圖的多元模式分析:典型結構在時間和空間上的比較
亮點:系統比較了腦磁圖和腦電圖在使用SVM進行RSA分析時的差異，比較思路和技術細節值得參考，如給出采用該方法的詳細理由，包括優勢判別和成功條件等。它還顯示了如何使用RSA結合腦電圖/腦磁圖和功能磁共振成像進行研究。可以加深理解腦磁圖和腦電圖的區別，以及RSA分析方法的使用邏輯和註意問題。
內容是個人思考的補充
腦磁圖和腦電圖的多元模式分析可以揭示認知背後高時間分辨率的神經機制，但問題是腦磁圖和腦電圖在神經活動采樣上存在系統性差異。
方法:為了解釋這壹問題，研究了受試者觀看日常物體圖像時的同步腦磁圖/腦電圖。對腦磁圖和腦電數據進行多元分類分析，將時間歷程上的結果相互比較，空間上分別對功能磁共振成像數據進行分析。
結果:腦磁圖和腦電圖顯示的視覺加工的時間和空間變化在毫秒級上基本壹致。除了收斂的結果，腦磁圖和腦電圖對於視覺表征的獨特方面也被發現。與腦電圖相比，這些獨特的成分在腦磁圖中出現得更早。這些獨特成分的來源由功能磁共振成像確定。腦磁圖和腦電圖都來自高視皮層，腦磁圖也顯示來自低視皮層的成分。
結論:總之，對腦磁圖和腦電圖數據進行多變量分析提供了壹種神經處理趨同性和互補性的觀點，促進了這些方法在腦磁圖和腦電圖研究中的更廣泛應用。
16名健康誌願者(7名女性，年齡平均標準差= 24.1 4.5)。
刺激集包括92張彩色照片(Kiani等人，2007；Kriegeskorte等人，2008年b；；Cichy等人，2014，2016b)，包括人類和非人類的人臉和身體，以及在灰色背景上分離的自然和人工物體(圖1a)。
參與者觀看屏幕中央呈現的圖像(視角為4度)500毫秒，並疊加壹個淺灰色的固定十字。***15次測試，每次持續290秒。在每個測試中，每個圖像以隨機順序呈現兩次，測試間隔(ITI)隨機設置為1.0或1.1秒，概率相同。當回形針圖像每3到5次實驗(平均4次)隨機顯示時，受試者被要求保持固定並按下按鈕和眨眼。回形針圖像不是92圖像集的壹部分，回形針嘗試從進壹步分析中排除。
同時采集腦磁圖和腦電信號。腦磁圖有306通道，腦電圖有74通道。
首先，使用Maxfilter軟件，使用默認參數處理和去除壞數據。經過BrainStorm預處理後，分割為-100到900ms，采用30Hz低通濾波。
下面的分析是為了揭示兩個數據對於不同實驗材料和概念水平的分類精度。
使用了各種各樣的取樣方法。
1)全部74個腦電通道；2)所有306兆通道；3)74個MEG通道和相同數量EEG通道的隨機子集；4)380(306+74)腦磁圖和腦電圖通道等。
首先，確定了在單壹實驗條件下區分腦磁圖和腦電激活模式的時間過程。分類采用SVM線性支持向量機，libsvm軟件，固定正則化參數，C=1。
特征選擇分類方法是時間分辨的，每毫秒的模式向量分別由腦磁圖和腦電通道的測量結果創建。特別地，對於每個時間點t(從-100到900毫秒，以1毫秒為單位)，將每個實驗的特定條件下的通道激活值作為模式向量(M =3015遊程，每種材料重復兩次)，從而生成30個原始模式向量。
圖案裝配與設計。分區平均(PartitioningAverage)為了減少計算量，提高信噪比，將每組(k=5)的M個向量按隨機順序再次平均，得到M/k=6的平均模式向量。
成對分類在所有條件組合對的平均模式向量上訓練和測試SVM分類器。具體地，M/k-1個模式向量被分配給訓練集以訓練SVM。保留的模式向量被分配給測試集，以評估訓練的SVM的性能(%解碼精度)。
訓練和測試過程被重復100次，並且原始模式向量被隨機分配給平均模式向量。在減少信道數據集的情況下，這還涉及對每次叠代的信道進行重采樣，以獲得解碼的準確無偏估計。
RDM將每個時間點跨叠代的平均分類結果存儲在92* 92大小的矩陣中，並根據分類條件的行和列對它們進行索引。這個解碼矩陣是對稱的，有壹個未定義的對角線(因為條件中沒有分類)。
當腦磁圖和腦電圖激活模式能夠區分高級(有生命和無生命，自然和人工)，中級(身體和面部)和低級(人和動物的身體和面部)三個級別的五種不同對象類型時進行評估。因此，根據矩陣元素索引的條件對，將92* 92解碼矩陣分為類內和類間相關分類。減去類別之間的平均解碼準確率作為類別的聚類標準，說明類別成員的信息超過了單幅圖像的可區分性。
下面的分析揭示了腦磁圖和腦電圖測量之間的差異。
為了揭示由腦磁圖和腦電圖數據的多元模式分析發現的視覺表征的相似性和差異，使用了表征相似性分析(RSA)。解碼精度被作為異質性的度量:解碼精度越高，分類條件的激活模式越不相似。
使用線性SVM確定的解碼精度作為距離度量的優點是:I)可以自動選擇包含鑒別信息的信道，從而避免了基於人類的選擇的需要，因為這樣的選擇可能會帶來偏見；Ii)它可能對噪聲信道不太敏感，而不是用相同的權重測量所有信道的貢獻，例如相關分析。
腦磁圖和腦電圖的解碼矩陣被分解成表示差異矩陣(RDMs ),這允許兩種模式之間的直接比較。基本思想是，如果EEG和MEG測量到相似的信號，那麽在EEG中喚起相似模式的兩個對象也應該在MEG中喚起相似的模式。
RDM的有效比較需要從獨立數據中構建(Henriksson等人，2015)。否則，與實驗條件無關的逐個試驗的信號波動，如認知狀態(註意力、警惕性)或外界噪聲(運動、電磁噪聲)會擴大和扭曲，腦電和腦磁圖的相似性會偏離。
為了獨立地構建腦磁圖和腦電圖的RDM，我們將數據分成兩半，並為不同的組分配偶數和奇數測試。然後，我們將split half 1和split half 2的RDM與RSA進行比較，並在腦磁圖和腦電圖測量模式內和模式間進行比較(圖3a)。重要的是，由於在每次分段中對同壹實驗的腦電和腦電數據進行分組，腦電和腦電測量模式之間的比較也受到連續實驗波動的影響，因此具有很好的可比性(如果腦電和腦電在單獨的會話中記錄，則不會出現這種情況，這強調了兩個數據需要同時獲得而不是分開獲得的必要性)。
比較不同成像模式(腦磁圖和腦電圖)的RDM，僅顯示視覺表示的相同方面。比較成像模式下RDMs(MEG vs MEG，EEG vs EEG)的可靠性估計包括其* * *相似性和唯壹性。
因此，模式內相似性和跨模式相似性之間的差異揭示了由腦磁圖或腦電圖測量的視覺表征的獨特方面。在該分析中，時間分辨分類類似於上述的單個圖像分類，但是為了減少嘗試的次數，模式向量被再次平均，平均k=3個模式向量。
與現有數據相比，Cichy，R.M .，Pantazis，d .，Oliva，a .，2014。在空間和時間上解決人體目標識別。納特。神經科學。17，455–462。
15名參與者在記錄fMRI數據時觀看了同樣的92組圖像。每個參與者在兩個不同的日子裏完成兩個測試，每個測試由10-14試驗組成，每個試驗持續384秒。在每次運行中，每個圖像顯示壹次，圖像順序是隨機的。在每個實驗中，圖像顯示500毫秒。保持被試註意力的任務是所有實驗中有25%是無效的，期間只呈現壹個灰色背景，固定註視點變暗100毫秒。受試者被要求按下按鈕來報告固定十字亮度的變化。
兩個感興趣區域(ROI):初級視覺區V1和IT(下顳葉皮層IT。
通過使用基於相關性的異質性測量，為每個受試者分別構建功能磁共振成像的RDMs。
為每個ROI構建相似性矩陣，提取並連接每個圖像條件的fMRI體素激活值。然後，計算每對圖像條件的模式向量之間的所有成對相關系數(Pearson's R ),並將結果存儲在92×92對稱矩陣中，通過比較條件的行和列來索引。
轉換索引為1-R，將相關的相似性度量轉換為差異性度量。選擇這種距離測量的原因是，
1)是fMRI分析中常見的選擇；
2)已經證明可以成功地與腦磁圖數據集成；
3)計算速度快；並且允許基於相同fMRI數據的結果的直接比較。
為了進壹步分析，對異質性的測量進行平均，並為每個受試者和ROI生成RDM。
為了確定在腦磁圖和腦電圖中觀察到的時間動態的空間來源，並將它們相互比較，使用了基於RSA的腦磁圖/腦電圖-功能磁共振成像的融合方法(Cichy et al .，2014，2017，2016b，a)。
該分析的目的是綁定特定(無時間)fMRI空間點和(無空間)MEG/EEG時間點之間的表示相似性。如果條件在fMRI和MEG信號空間中喚起相似的模式，那麽時間和空間中的點是聯系在壹起的。
該方法成功的關鍵在於物體視覺過程中表征幾何在空間和時間上的快速變化，使空間分辨率的fMRI RDMs與時間分辨率的MEG RDMs唯壹關聯。
最後，為了比較基於不同腦磁圖和腦電數據集的融合結果，我們從基於另壹個通道的結果中減去基於壹個通道采樣的結果，以獲得特定對象的融合結果。
對於每個ROI和受試者，計算每個時間點特定fMRI RDM與平均MEG或EEG RDM的相似度，從而得到表征相似度的時間過程。(圖4A)
對於每個fMRI受試者，探照燈分析在5毫秒內從-100到+500毫秒的時間點進行。對於每個體素V，從以體素V為中心的半徑為4個體素的球體中提取具有特定條件的t值圖案(探照燈在V處),並將它們排列成圖案向量。
從1中減去每對條件的皮爾遜R，以計算模式向量之間的成對相異度，從而獲得fMRI RDM。然後計算探照燈的特定fMRI RDM與受試者的平均MEG或EEG RDMs之間的相似性(Spearman's R)。
對大腦中的每個體素重復這種分析，得到每個時間點的fMRI和MEG或EEG的相似度的三維圖。通過對所有時間點重復同樣的方法，我們得到壹系列三維圖，這些圖揭示了人腦在物體感知過程中的時空激活，這些激活分別被腦磁圖和腦電圖記錄。
替換測試和引導
對於每個時間點，解碼矩陣的所有元素被平均，導致在所有實驗條件和特定條件下解碼準確度的大平均時間過程(圖1C)。觀察到腦磁圖/腦電圖采樣的所有四個主要通道的顯著效應。這表明，原則上，腦磁圖和腦電信號都可以進行相同的多變量分析，並重現了Cichy等人(2014)基於腦電信號的結果。
鑒於腦磁圖和腦電圖在解碼單幅圖像時的定性和定量差異，本文考察了腦磁圖和腦電圖在揭示不同分類抽象水平上的物體類別處理信息時是否也存在差異。
根據Cichy等人(2014)的方法，我們將解碼精度矩陣分為兩個分區:圖像屬於壹個統壹類別的淺灰色和不同類別的深灰色。
平均子類內和平均子類之間的解碼準確度的比較被用作測試類別的聚類標準。原理是，為了揭示多於單個圖像信息的類別信息，必須從指示單個圖像和類別(不同的子類別)之間的差異的信息中減去指示單個圖像(相同的子類別)之間的差異的信息。這導致了壹個清晰的表征，即類別信息可以以線性方式閱讀(DiCarlo和Cox，2007)。
發現在腦磁圖和腦電傳感器的所有四個樣本中，五個子類別的信息都有明顯的信號(圖2A-E，中間部分，除了腦電中的自然度)。
從差異的角度來看，只發現了微小的統計差異。潛伏期沒有顯著差異。
最後，基於Meg &；腦電圖和腦磁圖的對比顯示，除了自然度外，其他情況都有差異(圖2A-E)。
單幅圖像和特定類型信號的平均解碼精度是匯總統計，只能部分反映腦電和腦電數據中豐富的多元信息。如果考慮解碼矩陣捕捉到的整個表征空間結構，腦電與腦電相比如何？為了研究，在完全解碼矩陣上使用表示相似性分析。
在圖5B中，發現了表示相似性的正的和顯著的時間過程，這表明視覺表示的壹些方面被兩種模式捕獲。同時，還有壹個顯著高於跨模式表征的相似度，說明腦磁圖和腦電也分別解決了視覺表征的壹些獨特方面。
腦磁圖和腦電圖獨特信號的時程不同:腦磁圖的峰值延遲明顯早於腦電圖。
在所有采樣模式下，兩個大腦區域的fMRI和MEG/EEG之間存在顯著的相似性(圖4 BD)。
在比較腦磁圖和腦電圖的異同時，
首先，與峰值潛伏期相比，沒有發現顯著差異。
其次，對比腦電圖或腦磁圖(圖4 CE)相減的結果，看哪種模式更像fMRI。發現基於腦磁圖的融合比基於腦電的融合更相似。
第三，進壹步偏相關分析。發現V1腦區MEG的獨特組成比EEG更敏感(圖5)。
腦磁圖和腦電圖與fMRI數據的融合揭示了腹側視覺流中的前饋級聯的早期表現在枕極中是相似的，並且它沿著腹側視覺通路迅速傳播，具有相當的動態變化。(圖6B)
總的來說，結果表明，腦磁圖和腦電圖適合於與功能磁共振成像數據基於RSA的融合，以揭示皮層信息流，但腦磁圖/腦電圖對視覺表征的獨特方面的進壹步敏感性的來源沒有揭示。
壹般來說，幾乎所有在壹種測量模式下產生重要結果的分析在另壹種模式下也會產生重要結果(腦電圖的自然分類是唯壹的例外)。
通過比較腦電和基於分類時間進程的腦電，直接分析表征的相似性，產生神經表征相似性和唯壹性的敏感性證據。
腦磁圖和腦電圖與功能磁共振成像的融合使獨特的方面位於空間:兩種模式都捕捉到高級視覺皮層中表征的獨特方面，而腦磁圖也捕捉到低級視覺皮層中的表征。可能是因為低級視區位於淺源，而高級視區是深源。腦磁圖峰值較早也可以解釋為腦磁圖對淺層神經源更敏感，因為下視區的神經元活動出現較早。
而當通道數較少(32個)時，仍能觀察到大部分效果，說明RSA可以應用於通道數較少的情況。
腦電效應比腦磁圖弱，說明在需要時間分辨率時，腦磁圖更受青睞。