目录

一、探索目的
二、脑机交互介绍
三、硬件架构介绍
四、信号探究
五、交互实现
六、总结

一、探索目的

脑机接口（ Brain-computer interface，BCI ）在大脑与外部环境之间建立一种全新的不依赖于外周神经和肌肉的交流与控制通道，从而实现大脑与外部设备的直接交互。该技术能够在人（或其他动物）脑与外部环境之间建立沟通以达到控制设备的目的，进而起到监测、替代、改善/恢复、增强、补充的作用。
脑机接口是一项还不太成熟的技术，其应用范围包含医疗健康、娱乐、智能家居以及军事等领域；探索脑机交互技术主要目的是观察其应用以及技术成熟度，通过简单的demo，看看我们是否可以应用脑机交互技术做一些有趣且实用的东西。因此尝试使用脑机交互技术来控制小车的移动。

二、脑机交互介绍

脑机接口系统分为6大组成部分：用户（大脑）、脑信号采集、脑信号处理与解码、控制接口、机器人等外设和神经反馈。脑机交互主要依赖于我们对脑电信号的解析精确度。

1、脑电介绍

1）基本介绍（种类、作用，组成，相关名词等）

脑电主要是指脑部神经产生的电信号，其信号值非常小，达到uV级别。脑电信号的采集方式主要有三种，侵入式、半侵入式和非侵入式：
侵入式：通过神经外科手术直接植入大脑皮质，此种方式获得的数据精确度与灵敏度高，但是存在免疫反应、感染、损伤脑部组织等风险；
半侵入式：侵入性没有那么强，但仍然需要进行脑部手术，电极位于颅骨上；
非侵入式：不需要进入大脑，只需要穿戴设备记录大脑皮层的表面信号，如脑电帽、耳蜗等，此种方式获得的信号较弱，精确度欠佳。
目前非侵入式应用最为广泛，也是我们使用的方法之一。

2）脑电数据集，论文等

目前脑电数据已经有相当多的开源数据集和论文，这里提供一个IEEE上的开源数据集给大家参考：https://ieee-dataport.org/topic-tags/biophysiological-signals?page=3

三、硬件架构介绍

做脑机交互首先得有脑电采集信号的设备，市场上有多种脑电信号采集设备，价格有高低，基于经费问题，我参考了OpenBCI的硬件系统自己DIY了一套脑电采集设备（某宝也有相关产品售卖），价格也比较平民，推荐大家参考：https://openbci.com/community/build-your-own-neurofeedback-game-with-openbci/
除此之外还对比了一款成熟的商用产品Emotiv，并利用自己的电脑和算法来解析脑电信号，还采购了一款基于树莓派的简单可控制编程小车来执行控制命令。
整体架构如下图所示：

四、信号探究

由于每个人的脑电信号存在个体差异（幅值、频率等），而且身边可采集的数据不多（只有一两个人的数据），所以不可能使用深度学习方法解析命令（众所周知深度学习需要大量数据，有兴趣的读者可以使用开源数据集进行脑电信号解析），因此我参考开源数据集的数据采集方法，针对自身设计了一套数据采集范例。
信号采集如图所示：

1、实验设计

1）实验设计来由

由于前期的探索，发现脑电信号人工去筛查是基本发现不了的不同脑电的区别，反而是一些肌电比较容易区别和解析，如下图所示：

但肌电并不是脑电，我们的目的是利用脑电做一些交互探索，经过查阅文献，我们发现一些细颗粒度的脑电控制无法去辨识，样本数量不够，但一些大颗粒度的脑电状态是有一些明显的区别的，比如心平气和思维紧张是有一些区别，基于此，我们设计了一些实验的用例。

2）实验设计实例

2、信号分析应用

通过利用滤波、频域分析等技术，我们发现集中注意力和放松两种状态，其脑电波是具有比较明显不同的，主要体现在两个方面：

• 高频信号变化显著
• 频带能量变化显著
  因此将注意力信号作为脑电信号，用于信号解码，其识别机制如下：
  

五、交互实现

1、交互说明

利用5种脑电信号将信号分为5种模式进行控制，具体模式如下图所示：

其中脑电信号包括：

（注：此处眼电肌电本身是脑电信号中的噪音，但此处用来作为解析，是为了丰富控制方式，只有注意力是属于脑电范围，与思维相关）
对于小车的控制，使用的是python进行编程，通过局域网将小车、脑电采集设备和笔记本的信息进行交互，从而对小车进行控制。

2、交互呈现

交互的流程如下图所示：

最终脑机控制小车的成果如下gif所示：

六、总结

1、整体总结

整个技术探索总结为以下几点：

• 脑机场景虽然应用广泛，但脑电信号却相当难解析，而且脑电信号存在个人差异，如有应用落地，是需要基于个人进行标定适配的；
• 脑机交互信号容易受外界干扰，而且不稳定，需要设备的进一步更新
• 脑机交互并不是脑海中想象的具体事情，而是一系列事情的总体呈现，多种脑电事件往往对应一种脑电波呈现，是属于多对一的关系
• 脑机交互需要大量的反复实验，短期做一个技术突破比较困难

2、技术提升的方向

由于个人的资源和数据有限，没有应用深度学习等方法对脑电信号进行进行解析分类，如有大量的实验数据，可以借助华为云的力量进一步探索，具体模式如下图所示：