意念打字,一分钟20个汉字!一文解锁脑机接口最新技术进展

2023-08-30
脑机接口,人机交互新模式。

8月22-23日,2023 DEMO WORLD企业开放式创新大会在长三角G60科创走廊策源地松江隆重举行。本届大会由创业邦主办,松江区经济委员会、松江区投资促进服务中心、国家级上海松江经济技术开发区、松江区泗泾镇人民政府、松江区佘山镇人民政府协办。

大会以“拥抱开放”为主题,邀请200+跨国公司及本土企业创新领袖,聚焦开放式创新,通过演讲分享、报告发布、榜单评选、案例展示、需求对接等多种方式,推动全球创新资源在行业中的流动,加速世界各地的企业在中国成长。

会上,中国科学院半导体研究所研究员,博士生导师,北脑学者王毅军在《脑机接口,人机交互新模式》演讲中的精彩观点如下:

1.通过微创植入的方式可以让更多的用户接受植入式的脑机接口;

2.脑机接口在元宇宙场景里有巨大的应用前景;

3.植入式脑机接口在通讯效率上已经非常接近于传统人机交互方式。

image.png

以下为演讲内容,由创业邦整理:

最初是为了帮助患者提高生活质量

不少人听说到脑机接口还是借助于马斯克的Neuralink公司,这家成立于2016年的公司采用的是植入式的脑机接口技术。

当然,Neuralink主要采用的是一个系统集成的技术,从脑机接口本身的原理和应用来说都是基于过去几十年的研究成果。Neuralink的特点是采用微创的外科手术植入,系统可以做到非常小。

所以,从应用场景来说,通过微创植入的方式可以让更多的用户接受植入式的脑机接口。

另一方面,脑机接口潜在的应用空间是在元宇宙场景里。目前,在现有虚拟现实和增强现实场景里,还缺少一种非常高效的人机交互方式。

目前,随着脑机接口技术慢慢进入技术爆发期,我们希望在科幻场景下的脑机接口技术可以在现实生活中慢慢实现。

从脑机接口定义上来看,是指在大脑和计算机之间构建一条直接的信息传输通道,与传统的人机交互相比,我们不希望再依赖于肌肉和外周通路控制。

脑机接口最早提出是为了帮助运动障碍的患者,帮助他们提高生活质量。因为我们知道运动损伤的患者大脑都是正常的,但是他丧失了与外界环境沟通的途径,所以脑机接口技术是为了能够在临床上帮助这一类的患者。

从脑机接口技术(BCI)发展上来看,有一个重要的时间节点:脑机接口的概念是在1973年被提出的,今年这个时间节点很特殊,正好是BCI概念提出的50周年,今年在脑机接口学术界也开展了一系列活动。

我们可以看到从脑机接口提出到现在经历了三个阶段,最早被称之为科学幻想的阶段,第二个阶段是科学论证的阶段,第三个阶段是我们现在所处的技术爆发期,也列出了几个重要的节点:

比如,在科学论证阶段可以用脑机接口实现机械臂的高效控制;在技术爆发期,2021年斯坦福大学实现了基于脑运动解码的手写文字输入场景。

这里简单讲一下脑机接口实现的基本原理,最重要的是以下两个层面:

1、神经信息的解码;

2、神经信息的调控。

众所周知,大脑系统构成非常复杂,从宏观脑区层面上来说,有几十个、上百个不同的分区。更微观来看,到神经元层面到突触层面,如果我们要非常准确、完整地记录大脑信息,目前现有的技术是无法做到的,这就为神经解码带来巨大挑战。

那么,我们如何可以更好、更准确地解读神经信息?现有的大脑活动、监测方法非常多,我们列出两个不同的尺度:

1、X轴是空间尺度,从比较粗糙的记录到比较精细的记录变化;

2、Y轴是时间尺度,从毫秒一直到秒的时间变化。

我们如果把脑机接口技术重点面向人机交互应用,就需要解决在线实时快速交互的问题,电信号在脑机接口使用上有它的优势,目前植入式和非植入式脑机接口大多都会采用神经电信号作为神经信息处理的媒介。

举两个简单的例子让大家理解一下我们如何去解读神经信息:

1、一个是视觉神经元方向选择性编码的原理。

如果给猫呈现不同方向视觉刺激的条纹,在相应的神经元记录上可以看到,某一类神经元只会对某个特定方向有一个非常高的发放率,如果方向发生变化以后,这类神经元就不再做相应发放了。

所以,倒回来想,如果我们记录到这一类特定神经元发放,就可以判断视野里出现的刺激代表的是哪个朝向。

2、另一个更常用的是运动解码的方式。

同样的道理,当猴子控制摇杆往不同方向运动的时候,不同的方向都分别对应了有一类的神经元单独对这个方向最敏感。

我们如果可以记录到大量神经元的活动,通过群体神经元活动群向量的编码方式,我们就可以解读出目前猴子的运动意图是往哪个方向,这是目前运动解码脑机接口采用的最基本的原理。

如果从信息通讯角度来说,我们可以把脑机接口分成两个主要部分:

1、首先是一个信息编码的过程。我们可以把你想表达的意图,通过视觉、听觉或者其他的感知信息编码到大脑的活动中去。

2、另一个是信息解码的过程。我们采集到神经信息活动后,如何借助现有工程方法或无线通信方法把里面想表达的信息解答出来,所以基于无线通讯原理,我们就可以很好简化脑机接口的系统设计和实现。

脑机接口的系统构成是一个闭环的系统,包括神经信号的采集、分析。

信号分析主要包括信号处理和机器学习两个主要模块,将信息转换成设备控制的指令,这样就可以构建大脑和外部设备、外部环境的直接信息传输通道,已经不再需要依赖于传统的肌肉控制实现人机交互,所以我们称之为新一代的人机交互方式。

脑机接口到底有哪些应用?

那么,脑机接口到底能做什么呢?现有脑机接口常见的应用场景,分为两大方面:

1、临床方面主要实现功能替代和功能修复。上面有强调面向运动障碍患者,脑机接口可以帮助他们提高生活质量。

2、对于健康人来说,在非临床应用方面,目前脑机接口更多的起到是辅助通讯作用,也可以作为一项大脑状态监测的技术。

以下是几个典型应用场景:

2012年布朗大学通过植入式的脑机接口实现了对机械臂进行控制,该患者已经有十多年的脊髓损伤,无法实现常规喝水动作,所以植入式脑机接口在她的运动皮层植入了电极阵列后,通过采集群体神经元活动,可以实时解码成控制机械臂的信号,这样通过实时在线反馈的方式,对视觉和运动信息进行整合,患者已经可以实现使用机械臂抓取水杯喝水的动作。

这是十年前的结果,整个控制的速度和精度还不是很稳定,还需要通过实时在线反馈才能不断完善。

另一个例子,2021年,斯坦福大学在nature上发表了解码想象文字来实现手写输入的一项研究,基本方法就是上文中介绍的运动信息的解码。

通常,我们在写字的时候,写不同字符对应的是一个运动轨迹,如果能够把神经运动信息解码出来,比如包括运动方向和运动速度,这样我们就可以通过想象的方式,比如想象在写一个字,把神经信息转换成实时输出的文字,一分钟可以实现几十个英文字符的书写。

接下来是一个问答书写的场景。

对方提出一个问题,用户使用刚才提到的运动解码回答该问题,每个字符的实现都是通过运动解码,实时地把字符解读出来就可以实现非常高效的人机交互方式,最快速度可以达到每分钟输入90个英文字符,已经超过了当时脑机接口通讯的世界最高速率。

更进一步,如果我们可以把说话发音相应的运动和感觉信号解读出来,就可以采用植入式脑机接口合成语音了,其原理还是运动解码的方法。用户无需把想说的话说出来,而是通过说话动作解析语音合成出来,这是2023年斯坦福大学最新的研究进展。

通过这种植入脑机接口的方式,可以实现每分钟60个英文单词的解析速率,未来如果能够解决植入式脑机接口的安全性问题,在通讯效率上已经非常接近于传统发声的动作了。

脑机接口面临的机遇和挑战

目前特别是在植入式脑机接口方面,主要面临以下机遇和挑战:

首先,我们要采集到相应的神经信号,因此在神经信号采集技术上面,特别是在无创电极方面要解决舒适性和安全性问题。

对植入式的电极更多需要解决生物兼容性问题,因为植入以后要保证电极能够长期工作,否则使用一段时间以后,由于排异反应电极也需要二次植入,这是目前植入式脑机接口面临的主要问题。

其次,面向更多的人机交互场景下,要解决信号采集也就是系统集成的问题,特别是对于非侵入式技术,我们希望更多的时间或者更多的场景要使用脑机接口系统,所以要实现无线传输以及小型化、低功耗等一系列技术。

Neuralink最近刚刚获得FDA批准,能够开展人体试验,2022年FDA首先否决了这样的临床试验,当时罗列出来了一系列问题:首先是对植入式损伤的问题、植入式系统电池的问题、设备移除后是否会损伤脑组织安全性问题、设备过热等一系列问题。

所以,植入式脑机接口获得FDA批准进入临床是非常重要的一步,在接下来时间内也可以加速解决这些问题。

神经信号分析方面有非常多的难点,特别对于无创式脑机接口来说,采集到信号的信噪比非常低,因此,我们如何更好地理解神经编码方法,才可以在神经解码方面取得突破,目前现有脑机接口采用的范式还非常有限。

文字书写、语音解码等简单的控制其实都是非常初级的感知觉运动信息,如何更好地解析高级、抽象的认知活动是下一代脑机接口要解决的问题,这就要借助脑科学和计算神经科学研究,来解决新的脑机接口的范式提出。

过去几十年,脑机接口历经三个发展阶段,也构建了所谓的“I3”模型。

第一阶段,接口阶段:更多强调的是大脑和计算机之间的通信;

第二阶段,脑机交互阶段:强调了大脑、设备和算法之间自适应交互的问题。

第三阶段,脑机智能阶段:由于AI技术发展非常快,我们如何将现在的AI技术和脑机接口技术进行深度融合,这是目前发展中面临的一系列问题。

目前,脑机接口发展的驱动力是什么?

马斯克成立Neuralink的最终目的是要解决人和AI信息沟通的问题。

人和人之间,我们只能通过语音、键盘进行交流,传输速率非常有限,例如每秒钟几十比特已经是人和人之间的沟通极限了,但是AI和AI之间沟通没有任何瓶颈问题,所以未来人和AI如何交互,我们就要解决脑机接口信息通讯速率的问题。

现有的特别是涉及到无创脑机接口方式,只能实现每秒钟几个比特的信息交互,所以说阻碍当前脑机接口运用的瓶颈就是通讯速率的问题,也就是说对脑机接口的研究和发展提出了一个非常高的要求:我们如何解决高速通讯的问题,才可能带来脑机接口在未来实现人和AI之间高速率的交互。

无创脑机接口方面的最新进展

最后介绍一下我们在无创脑机接口方面的进展。

前面讲到神经信息的采集可以采用侵入式或者非侵入式两种方式,目前脑机接口的应用或者研究中,占比更高的其实还是非侵入式的方式,主要还是安全性的问题,特别是对于健康人群,无创的方式接受度更高一些。

我本人研究主要聚焦在无创脑电信号。由于脑电信号具有无创、成本低、可便携等优点,在安全性和实用性方面在目前是有优势的。

我们采用的是视觉的脑机接口范式,采用目标刺激编码和脑电解码方式构成了闭环脑机交互系统,给用户视野里呈现不同编码的刺激,实时解读脑电信号里面包含的特征,将它转换成一个控制指令,如此一来这与一个无线通讯的调制解调系统是完全高度一致的。

视觉脑机接口目前在无创脑机接口中具有最高的信息传输速率。

经过我们的演示,一套脑机接口系统每分钟可以输入20个中文汉字,这也是目前有报道无创脑机接口里面最快的中文输入速率。

基于一系列视觉脑机接口方法,我们也开发了很多面向人机交互场景的通用演示。

例如,用户佩戴着可穿戴式的脑电采集系统,在初级视觉皮层采集8个通道的信号,我们可以实现游戏控制、视频播放、电话拨号以及文字输入等一系列不同的应用,这也是和江苏集萃脑机融合智能技术研究所下面孵化的苏州念及智能科技有限公司联合开发的一系列平台。

这套系统中,我们研发的可穿戴的便携式脑电采集头环,专门针对了整区的视觉诱发电位采集,采用的是半干电极,也就是通过凝胶电极或者盐水电极实现了即戴即用的操作方式。

今年在2023年世界机器人大赛上,青少年组比赛中已经运用了这套系统开展了大规模测试,接近上千人试用。目前,这套系统的应用主要面向神经康复的脑控手套场景,在VR场景下的人机交互模式,其他应用还包括脑科学研究以及教育科技的初步尝试。

最后感谢合作单位对整个项目的贡献,这项研究也受到了自然科学基金与中科院先导专项的支持,谢谢大家!


更多活动大会一手信息,欢迎加入创业邦会员,现场聆听一线投资人、头部企业家精彩分享,掌握最新创投趋势!

图片

27567280c7caafd95829dc36c70450d.png