综述 | 南航张道强：基于机器学习探秘神经科学，解码思想、记忆、情绪......

论文题名：fMRI-based Decoding of Visual Information from Human Brain Activity: A Brief Review

论文作者：Shuo Huang, Wei Shao, Mei-Ling Wang, Dao-Qiang Zhang

全文链接：https://link.springer.com/article/10.1007/s11633-020-1263-y

参考链接：https://mp.weixin.qq.com/s/0wfAZbTg0cTV0JLL0AeG5g

解密人脑工作机制，已然成为神经科学界最重要的挑战之一。最新研究进展证实，借助功能磁共振成像(fMRI)可有效测量人脑神经活动，让解码人的思想、记忆和情绪成为可能。机器学习在神经科学发挥着越来越重要的作用，学界已提出大量机器学习算法来分析fMRI数据中的大脑活动。南京航空航天大学张道强教授团队，从脑影像功能校准、脑活动模式分析和视觉刺激重建三个方面综述了用以分析神经活动的机器学习方法，并提供了有关脑模式分析的在线资源和开放性研究问题。相关成果发表于IJAC 2021年第2期中。

图片来自Springer

在神经科学和机器学习领域，最重要的挑战之一是理解人脑的工作机制。大脑是人类记忆、情感和思想的源泉，深入了解大脑可促进科学、医学、教育等社会各方面的发展。

当前学界有多种方法用以测量神经活动，这些方法包括事件相关光信号(event-related optical signals, EROS)、正电子发射断层扫描(positron emission tomography, PET)、单光子发射计算机断层扫描(single-photon emission computed tomography, SPECT)、近红外光谱(near-infrared spectroscopy, NIRS)、脑磁图(magnetoencephalography, MEG)、皮层电描记术(electrocorticography, ECoG)，脑电图(electroencephalography, EEG)和功能磁共振成像(functional magnetic resonance imaging, fMRI)。

图片来自网络

在这些影像生物标记法(imaging biomarkers)中，功能磁共振成像(fMRI)具备两大优点。首先，它是一种非侵入性技术，可用于探测各种具备不同认知功能的神经生物学基质(neurobiological substrates)，进而间接估计大脑活动、测量血流中的代谢变化(metabolic changes)。其次，它可以在不产生任何已知副作用的前提下，提供高时空分辨率(unprecedented spatiotemporal resolution)，从而为分析神经活动带来更准确的信息。

基于fMRI图像，许多机器学习模型被应用于分析人类视觉和人脑的主观内容。一般而言，基于机器学习的方法旨在以fMRI样本数据(即训练数据)为基础构建一个数学模型来完成预测或决策任务，而无需对测试集进行显式编程(explicitly programmed)来执行神经活动预测任务。

尽管学界已经取得很多进展，但在用于分析大脑活动的数据集方面，为了得到更多大规模的、复杂的、珍贵的fMRI数据，仍然需要克服诸多来自计算和统计的挑战，而克服这些挑战已成为统计和机器学习领域一个重要且活跃的研究课题。

本文总结并列举了脑模式分析(brain pattern analysis)的主要挑战：

首先，fMRI研究的一个关键点将是多被试数据集的使用。然而，解剖结构(anatomical structure)和功能拓扑图(functional topography)(大脑活动模式)在不同被试者中是不同的。因此，在建立分类模型之前，必须解决不同被试者神经活动中真实功能与解剖的校准问题(authentic functional and anatomical alignments)。其次，fMRI数据集总是高维并且存在冗余噪声。

对于一些特定的大脑研究实验，如视觉或听觉刺激，只会激活部分大脑区域。选择关键的大脑区域是准确研究大脑的前提。最后，尽管研究人员已经成功提高了识别大脑活动模式的分类性能，但是通过大脑图像重建视觉刺激仍然是一项具有挑战性的任务。

与分类任务相比，视觉图像的重建可以为理解人的思维提供更详细的信息。近年来，一些文章综述了脑编码和解码的机制以及常用和经典的方法。这些综述不仅总结了最新的研究方法，而且列出了脑解码(brain decoding)和神经科学领域面临的挑战。鉴于上述挑战，本文将主要讨论机器学习算法，用以解决大脑解码领域中的四类问题，思路如下图所示。

图片来自论文

首先，文章第二部分将研究不同被试者fMRI分析的功能校准问题(functional alignment)，这是考虑被试者之间差异的大脑解码分析的预处理步骤。由于本文综述的大部分研究都属于这一类，故第二部分也将回顾一些基本的大脑校准策略(brain alignment strategies)，包括线性功能校准(linear functional alignment)、非线性功能校准(non-linear functional alignment)等。

本文第三部分将探讨多元模式分类(multivariate pattern classification)和表征相似性分析(representation similarity analysis)的问题，以预测不同刺激下的神经模式，同时评估不同认知任务之间的相似性(或距离)。

本文第四部分将回顾通过相应的fMRI信号生成刺激图像的脑图像重建方法。最后分享一些关于大脑模式分析的在线资源和开放研究问题。

此外，本文介绍了张道强教授课题组自主开发的开源软件easy fMRI 。如图所示，easy fMRI是一款能够解码和可视化人类大脑的工具箱，由南京航空航天大学iBRAIN课题组开发，是免费并且开源的。

开源软件easy fMRI：https://easyfmri.learningbymachine.com/

图片来自作者

来源：《International Journal of Automation and Computing》编辑部