脑机启侦 多模态脑机接口再进一步:言语与手势首次同步解码,交互范式从单通道迈向并行(09.16) ypxx.net

9月14日,《自然-神经科学》在线发表加州大学旧金山分校Edward Chang团队的最新研究:基于感觉运动皮层电极阵列的单一脑植入装置,首次实现对瘫痪患者言语与手势意图的同步解码,并借助全身虚拟化身完成多模态输出。在对话任务中,系统对两名参与者的言语与手势均保持高保真解码,其中一名参与者在三个对话区块中,言语与手势解码的中位准确度均达到100%。

技术路径上,研究团队将薄型电极阵列植入3名声道与肢体瘫痪患者(病因涵盖肌萎缩侧索硬化症与脑干中风)的感觉运动皮层上方。单个植入装置即可捕获多类运动信号,包括上肢动作及与言语相关的口面部运动,如耸肩、握拳挥动、点头等。核心架构在于并行运转的言语解码器与手势解码器:参与者被要求独立执行手势、回应对话提示,或同步完成两者。数据显示,同步表达状态下的神经信号与单一表达模式存在可分辨差异,采用同步任务数据训练的解码器对混合信号的识别能力显著更强——多模态数据本身即构成性能增益来源,训练误差随双通道协同而下降。

工程化层面,当前系统仍以有线方式运行,电极阵列需外接处理单元;研究团队表示,全植入式无线版本的长期测试已列入下一步计划。论文同时指出,在投入实际应用前,仍需扩大受试队列,并在更大词汇集与手势集上完成验证。

多模态解码的突破,建立在算法与算力两条底座的同步升级之上。中文场景方面,2025年11月,复旦大学附属华山医院联合中国科学院上海微系统与信息技术研究所、脑虎科技实现中文全音节高精度实时解码:对394个常用音节的解码准确率达71.2%,单音节响应延时65毫秒,实时语句输出速率49.6字/分钟——对于以单音节为主的声调语言而言,解码复杂度显著高于字母语言,该指标具有明确的工程参考价值。芯片侧,北京大学团队研制的基于相变忆阻器的神经动力学系统芯片,将单步运算时间压缩至2.12毫秒,在脑皮层重建等任务中较先进GPU提速50至478倍;同期发布的脑机接口类脑芯片部署开源系统,可将部署功耗控制在40毫瓦以下、较GPU降低30至50倍。解码模型复杂度的上升与端侧算力功耗的下降同时发生,为设备从实验室走向可穿戴、家庭化部署提供了硬件条件。

对行业而言,该研究的价值不止于单点性能纪录。它验证了"单一植入位点+并行解码器"路线对复合交互场景的支撑能力,将植入式脑机接口的目标函数从"恢复单项功能"推向"重建完整交流通道",并直接抬升了对实时解码算法、片上算力与神经数据工程的规格要求——解码对象越复杂,对上游数据质量与算力供给的依赖越深,产业链各环节的技术耦合度随之增强。边界同样清晰:样本量有限、设备尚未无线化、词汇与手势集规模偏小,临床应用仍需更大规模验证;与此同时,多模态神经数据采集密度的上升,使脑电数据标准化、神经隐私与伦理治理的权重同步增加。当解码能力持续逼近"读懂"大脑的阈值,工程化验证与数据治理将成为决定产业化节奏的关键变量。

·关于我们

浙大科技园启真脑机智能产业化基地是在浙大控股集团领导下,由浙江大学科技园发展有限公司与杭州未来科技城管委会共建,围绕脑机智能产业主体,辐射脑机+生命健康、脑机+智能制造、脑机+新一代信息技术、脑机+新材料等领域的专业化特色产业基地,由杭州启真未来科技发展有限公司负责全面运营。

基地依托浙江大学在脑机智能方面的学科优势,以脑机智能作为核心科技支撑,贯彻浙江大学国家大学科技园“有组织科技成果转化、有靶向科技企业孵化、有体系未来产业培育”的服务体系,致力于打造脑机智能领域具备成果显示度、区域影响力的产业化高地