文献综述(或调研报告):
目前基于脑电信号的控制系统已经基本走向成熟,有了一套固定的方法和理论,但是对虚拟场景的控制的相关研究还是比较少的,前人也进行了一些尝试,下面就这两个方面来概括分析一下当前的现状:
- 脑机接口的发展现状
1.1BCI 系统的基本工作原理
BCI 系统的基本工作原理为:当大脑在进行一些思维意识活动或者感知器官在受到某些刺激时,会激活人体的神经系统,抑制或者诱发大脑皮质层产生某些特异性的电活动, 通过特定的技术手段从人的头皮表面或者颅腔内部提取这部分生理电信号, 将该信号进行滤波、 放大、 模数转换等处理后传入到高性能计算机,计算机利用复杂的分析手段对信号作预处理、特征提取以及模式分类,并把识别结果转变为能反应大脑意图的指令输出到应用设备,进而实现对外界设备的控制。通常情况下,完整的脑-机接口( BCI)系统包括如下四个模块:信号采集模块、处理模块、分类模块以及设备控制模块。信号采集模块是指专业的脑电信号采集设备。处理模块与分类模块是实现算法完成对脑电信号的去噪、特征提取与模式分类,是本文重点研究的内容。设备控制模块接受用户的控制意愿完成与外围设备的交互,该模块也是 BCI 系统应用功能的具体体现[1]。
1.2国内外研究现状
目前,由于 BCI 技术极其重要的科学意义与应用价值,脑-机接口已成为人机交互领域最为热门的研究方向。越来越多的学者投入到 BCI 技术相关研发领域,并取得了令人瞩目的成绩。而近几年多次召开的 BCI 国际会议以及 BCI 数据处理竞赛也在很大程度上促进了该技术的发展。到目前为止,在谷歌学术上以“ brain-computer interface”作为关键字搜索有超过 31000 篇文献,而在近四年发表的文献达 16000 篇,占了 50%以上,这也直观地反应出 BCI 技术正处于蓬勃发展阶段[2]。
在国外, Millan 所在的 IDIAP 研究小组在基于自发脑电的异步 BCI 领域作了深入研究,受试者通过多种想象任务产生特定的 EEG 信号,利用 BCI 系统在线分析这些脑电信号并将其转换为控制指令,同时结合避障与防碰撞技术,使受试者可远程控制机器人或者轮椅的运动。奥地利 Graz 科技大学的脑-机接口研究小组从 1991 年起便开始研究基于运动想象脑-机接口技术并取得了丰硕的成果[3]。该研究小组研制的基于虚拟现实的 BCI 游戏,玩家可以通过想象脚、左手以及右手运动来控制游戏中人物完成前进、左转和右转三个方向上的运动。德国 Berlin 大学的 BCI 研究机构研制了基于两类运动想象任务的 Hex-o-Spell虚拟打字机,系统将 30 个字母分为六组,用想象手部运动选择目标字母组,而利用想象脚部运动完成选择操作并进入下一级选项, 残疾人士可以利用该系统实现与外界的对话。 Dennis J McFarland 等在指导受试者进行系统的训练后,利用想象运动产生的节律信号,成功控制了三维空间中的虚拟光标的运动方向。日本的 BSI 研究所利用频率滤波法和线性分离技术设计了一种基于运动想象脑电信号控制的轮椅系统, 受试者可以通过想象运动控制轮椅的前进、左转和右转,且该 BCI 系统具有较高的实时性[4]。日本东京大学的 Junya 等人采用虚拟现实技术搭建了一个仿真环境, 通过反馈训练有效地提升了受试者左右手想象运动的识别率。
国内的BCI研究起步相对较晚,但也取得了不错的成绩。上海交通大学的赵启兵等人研制了一种基于累积增量控制方法的异步BCI系统,受试者可以在复杂的虚拟现实环境中自主地控制车辆的行驶方向。华南理工大学的BCI研究中心将运动想象脑电节律与P300电位相结合实现了一种混合的BCI系统,用运动想象节律和P300这两种EEG信号分别控制一个光标在水平与垂直方向上的运动 。清华大学的BCI项目组是国内较早进行BCI研究的科研机构,多次参加国际BCI竞赛均取得了优异的成绩[5]。吴边等利用P300电位设计了一款中文的虚拟BCI打字系统,为只熟悉汉字的高度残障人士与他人交流提供了选择。同时,国内有很大一批学者对脑电信号作了离线分析, 通过改进特征提取方法以提高EEG信号的识别率。例如吴婷等人采用小波包分解对两类运动想象进行特征提取,其识别率超过了90% 。曹铭等对基于二值化Lempel-Ziv 复杂度的特征提取方法进行改进,将左右手运动想象的平均识别率在原有的基础上提升了3%。施锦河等结合ICA与小波变换提取脑电信号的特征,其识别结果要好于单一的小波特征提取方法[6][7]。
2、基于OPENGL的虚拟场景的搭建
2.1虚拟现实的概念
