fNIRS | 当 AI 复刻母亲的声音,大脑会如何反应?一项 fNIRS 实验研究
分类:
行业资讯
学术动态
作者:
来源:
发布时间:
2026-10-15 11:19
访问量:
fNIRS | 当 AI 复刻母亲的声音,大脑会如何反应?一项 fNIRS 实验研究
引言
当一段由人工智能合成的声音,听起来像自己的母亲,它是否仍会被大脑当作“熟悉的人声”处理?这种熟悉感又会不会唤起记忆、情绪和更深层的认知反应?
随着少样本语音合成技术的发展,系统只需少量录音,就能学习说话者的音色、音高与韵律,生成高度个性化的声音。声音克隆因此呈现出两面性:它既可能被用于冒充、诈骗和身份欺骗,也可能进入陪伴机器人、心理支持、老年照护和智能助手等场景。
但现有研究多关注合成声音“像不像”“自然不自然”,主要依赖听感评价或声学指标。一个基础的问题仍未得到回答:同为 AI合成语音,当复刻对象是亲人时,大脑是否会对 AI 合成的亲人声产生区别于AI合成陌生声音的特殊神经反应?
既有研究表明,熟悉声音识别涉及前额叶和颞叶等区域,这些脑区与注意控制、情绪调节、语言加工和记忆提取密切相关。因此,本研究利用fNIRS监测脑血氧变化,考察AI合成的亲人声音是否会比陌生声音引发更强的神经反应。

图1 前额叶皮层与颞叶皮层位置示意图
前额叶皮层位于大脑前部,主要参与认知控制与情绪调节;颞叶皮层位于其下方,主要负责语言和情绪记忆加工
论文概述
绍兴文理学院牵头的研究团队在《Scientific Reports》发表研究“fNIRS experimental study on the impact of AI-synthesized familiar voices on brain neural responses”。研究利用GPT-SoVITS分别合成参与者母亲的声音、陌生中年女性声音和陌生甜美女声,并通过功能性近红外光谱成像(fNIRS)记录参与者聆听不同声音时前额叶与颞叶的血氧变化。
结果显示,相较两类陌生声音,AI合成的母亲声音均引发了更高的脑区激活水平。

文章信息
研究方法
1. 参与者与声音材料
研究共招募25名20—25岁的学生志愿者,其中男性12名、女性13名。研究者先采集每位参与者母亲约1分钟的普通话录音,再利用GPT-SoVITS学习其声纹特征。两类陌生声音来自公开语音材料,分别为中年女性声和音调较高、音色明亮的甜美女声。
三种声音最终朗读完全相同的文字,内容选自龙应台《亲爱的安德烈》中母亲写给儿子的书信。统一文本的目的是尽量将差异集中在声音身份与熟悉程度上,而不是内容本身。

图2 三类AI合成声音的生成流程
2. 两组对照实验
实验1比较“AI合成母亲声音”与“AI合成陌生中年女性声音”,共20人参加;实验2比较“AI合成母亲声音”与“AI合成陌生甜美女声”,共13人参加。部分参与者同时参加两项实验。
每个任务周期由陌生声音25秒、休息15秒、母亲声音25秒、休息15秒组成,共重复10次。参与者闭眼、保持静止,只需专注聆听。实验后,被试需回忆聆听母亲声音时出现的情绪反应、场景记忆和其他特别体验。

图3 实验任务流程:陌生声音与熟悉声音交替呈现,共重复10轮
3. 如何记录大脑反应?
研究采用22通道fNIRS设备,光极布局覆盖前额叶、颞叶皮层。fNIRS通过测量氧合血红蛋白(HbO)和脱氧血红蛋白(HbR)的变化,间接反映皮层神经活动。研究以信噪比较高的HbO为主要指标,并使用线性混合效应模型检验声音类型、脑区及二者交互作用。

图4 fNIRS探头与22个通道主要覆盖前额叶和颞叶
主要结果
1. 母亲声音的HbO变化更高
实验1中,母亲声音条件下的平均ΔHbO为0.008703,陌生中年女性声音为-0.01329,两类声音的总体均值差为0.02199。分脑区看,前额叶均值差为0.01968,颞叶为0.02431。
实验2得到相近结果:母亲声音条件下的平均ΔHbO为0.01641,陌生甜美女声为-0.006584,总体均值差为0.02300;前额叶和颞叶均值差分别为0.01946和0.02653。也就是说,无论陌生对照声音更接近母亲的年龄特征,还是拥有更高、更明亮的音色,熟悉的母亲声音都表现出更高的激活水平。

图5 实验1:母亲声音相较陌生中年女性声音引发更高的HbO变化

图6 实验2:母亲声音相较陌生甜美女声引发更高的HbO变化
2. 声音类型是稳定的显著因素
线性混合效应模型进一步确认了这一差异。实验1中,声音类型主效应显著(F=41.062,p<0.001),脑区主效应也显著(F=6.364,p=0.015);实验2中,声音类型主效应同样显著(F=29.459,p<0.001),但脑区主效应未达到显著水平(p=0.115)。两项实验中,“声音类型×脑区”的交互效应均不显著。
表1 线性混合效应模型分析结果——固定效应检验

3. 参与者不只是“听见”,还会自然联想到母亲
预实验和正式实验反馈显示,参与者听到AI合成的母亲声音时,常会不由自主地想到母亲及相关生活场景;听陌生声音时,他们则更集中于文字内容本身,较少产生明显联想。
研究据此提出,前额叶与颞叶激活可能同时涉及多种过程:前额叶可能参与注意分配、记忆提取与认知冲突处理;颞叶可能参与声音身份、语义理解及情绪记忆检索。因此,研究结果更适合被理解为熟悉性、记忆与情绪共同参与的多维加工,而不能仅凭脑区激活就断言参与者产生了某一种明确情绪。
研究总结
研究结果为AI声音在情感支持场景中的应用提供了初步神经证据。对长期照护者、独居老人或需要陪伴的人群而言,熟悉声音可能比标准化助手声音更容易形成注意与情感连接;在虚拟助手、教育与娱乐中,个性化声音也可能提高临场感和用户体验。
不足与展望
1.样本量较小,参与者主要为年轻大学生,结论能否推广到老年人、儿童或临床人群仍待检验。其次,实验始终先呈现陌生声音、后呈现母亲声音,固定顺序可能带来一定顺序效应,未来应采用随机化或平衡顺序设计。
2.研究未专门测量参与者当日压力、睡眠和情绪状态;fNIRS也只能覆盖部分皮层区域,且没有为每位参与者进行MRI协同定位,因此脑区解释仍较为粗略。研究所用快速语音合成模型虽具有较高自然度,但参与者仍能分辨合成声与自然声,当前结果不能证明AI声音与真实母亲声音具有相同的神经机制。
未来研究可进一步区分“熟悉但情感中性”的声音与“具有强情感关联”的声音,比较不同熟悉程度、关系类型和应用场景;也可加入真实声音对照、主观情绪量表及更精细的脑成像技术,以厘清声音熟悉性、情感意义和合成属性各自发挥的作用。
原文链接
Zhang W, Li J, Ji L, et al. fNIRS experimental study on the impact of AI-synthesized familiar voices on brain neural responses[J]. Scientific Reports, 2025, 15: 16872.
https://doi.org/10.1038/s41598-025-92702-5
研究团队介绍
研究团队来自绍兴文理学院数理信息学院、人工智能多维应用重点实验室、医学院,以及牛津大学、香港和杭州相关机构。团队将语音合成、人工智能、人机交互与脑功能测量相结合,围绕个性化AI声音如何影响用户的认知与情绪体验展开探索。
关于维拓启创
维拓启创(北京)信息技术有限公司成立于2006年,是一家专注于脑科学、康复工程、人因工程、心理学、体育科学等领域的科研解决方案供应商。公司与国内外多所大学、研究机构、企业长期保持合作关系,致力于将优质的产品、先进的技术和服务带给各个领域的科研工作者,为用户提供有竞争力的方案和服务,协助用户的科研工作,持续提升使用体验。
相关产品

关键词: