Look Once to Hear：全新的降噪耳机只需注视对方即可放大或者消除对方声音

"Look Once to Hear" 是一个智能耳机系统，通过短暂注视目标说话者即可在嘈杂环境中提取其语音并可以。该系统在 CHI 2024 大会上获得荣誉提名。 用户只需短暂地看向想听的说话者，耳机就能在嘈杂的环境中清晰地提取并播放该说话者的声音。这使得用户在嘈杂的地方也能专注听到想听的人讲话，比如在街道上、咖啡馆里或者社交聚会中，非常方便和实用。 该系统通过智能耳机实现了在嘈杂环境中高效的目标语音提取，为未来智能可穿戴设备的发展提供了新方向。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/05/X2Twitter.com_17950351804172984321080p.mp4"][/video] 主要功能 目标语音提取 ： 该系统允许用户通过短暂注视目标说话者几秒钟，即可从嘈杂环境中提取该说话者的语音。这一功能利用了用户的视线方向来确定目标说话者，进而实现语音的选择性提取。 实时处理 ： 系统能够在嵌入式设备上实时运行，确保用户在移动过程中仍能听到目标说话者的语音，而不受其他背景噪声的干扰。整个处理过程的总延迟低于20毫秒。 嘈杂环境中的录入 ： 用户可以在嘈杂的环境中录入目标说话者的语音样本，无需提供干净的语音录音。系统通过双耳录音和神经网络技术处理嘈杂的录音，以学习目标说话者的语音特征。 多环境适应性 ： 系统经过训练，可以在多种真实世界的环境中运行，包括室内和室外的多路径环境、不同的背景噪声条件以及用户移动时的语音提取。 用户友好界面 ： 系统设计了多种用户交互界面，包括耳机上的按钮、触控板和手机虚拟按钮，以方便用户在不同场景下的操作。 嵌入式设备优化 ： 系统经过多种优化，能够在嵌入式设备上高效运行。优化包括中间输出的缓存、使用 ONNX Runtime 进行推理以及模型的尺寸和计算复杂度优化。 技术原理： 1. 系统架构 系统主要包括两个阶段：录入阶段和提取阶段。 录入阶段 嘈杂录音 ：用户通过注视目标说话者几秒钟，利用双耳录音设备（如耳机上的麦克风）捕捉目标说话者的嘈杂语音样本。 语音特征学习 ： 波束成形网络 ：通过训练波束成形网络来估计目标说话者的干净语音信号，并使用该信号生成目标说话者的嵌入向量。 知识蒸馏网络 ：直接使用嘈杂语音样本通过知识蒸馏方法生成目标说话者的嵌入向量。 提取阶段 实时处理 ：利用预先学习的语音特征，系统从混合音频中提取目标说话者的语音，同时抑制其他干扰声音。整个处理过程在嵌入式设备上实时进行，保证低延迟。 2. 双耳录音与波束成形 双耳录音 ：通过佩戴的耳机上的双麦克风录制双耳音频。当用户注视目标说话者时，目标说话者的声音在两个麦克风上的信号是对齐的，而干扰声音则不是。 波束成形 ：利用方向信息，波束成形网络将麦克风阵列的输出信号进行空间滤波，增强目标说话者的声音，抑制其他方向的干扰声音。 3. 神经网络模型 嵌入网络 ：使用预训练的深度学习模型（如Resemblyzer项目中的LSTM模型）将目标说话者的语音映射为高维嵌入向量，这些向量捕捉了说话者的独特语音特征。 TFGridNet模型 ：用于实时语音分离的神经网络模型，经过改进可以在嵌入式设备上实时运行。主要改进包括： 因果模型 ：将双向LSTM替换为单向LSTM，确保模型仅使用过去的信息进行推理。 卷积与反卷积层优化 ：使用更小的卷积核和步幅，减少计算量。 多头注意力机制 ：使用缓存的历史帧加速注意力计算，避免重复计算。 4. 训练与数据增强 数据生成 ：训练数据包括清晰语音、背景噪声和双耳房间脉冲响应（BRIRs），模拟真实世界的多路径环境和头部相关传递函数（HRTFs）。 噪声增强 ：在训练数据中加入各种类型的背景噪声，如白噪声、粉红噪声和棕噪声，增强模型的鲁棒性。 运动模拟 ：通过模拟目标说话者和用户头部的移动，使模型能够适应用户移动时的语音提取。 5. 实时系统优化 缓存中间输出 ：在处理连续音频块时，缓存中间计算结果，避免重复计算，提高实时性能。 ONNX Runtime优化 ：使用ONNX Runtime将PyTorch模型转换为优化的ONNX模型，在嵌入式设备上高效运行。 模型大小与计算量优化 ：选择适当的模型参数，确保模型既有良好的性能，又能在嵌入式设备上高效运行。 6. 用户界面 多种交互方式 ：包括耳机上的按钮、触控板和手机虚拟按钮，用户可以根据需要选择不同的交互方式来启动目标说话者的录入操作。 用户研究与反馈 ：通过用户研究评估不同的交互方式和录入时长，优化用户体验。 实验结果总结 "Look Once to Hear" 系统在多项实验中展示了其有效性和实用性： 1. 录入和提取效果 录入阶段 ：系统使用短暂的嘈杂录音成功捕捉目标说话者的语音特征，利用波束成形和知识蒸馏两种方法生成嵌入向量。 波束成形方法 ：在嘈杂条件下录入的语音信号相比清晰录音降低了2.9 dB。 知识蒸馏方法 ：在嘈杂条件下录入的语音信号相比清晰录音仅降低了0.4 dB，表现更优。 2. 实时处理性能 实时性 ：系统能够在嵌入式设备（如 Orange Pi 5B）上实时运行，总延迟低于20毫秒，保证了用户在移动时的听觉体验。 处理速度 ：使用优化后的 TFGridNet 模型，每处理8毫秒的音频块仅需6.24毫秒，确保了实时处理能力。 3. 用户研究 用户偏好 ：在用户研究中，参与者更偏好通过耳机上的按钮进行目标说话者的录入操作，相比触控板和手机虚拟按钮，按钮的触觉反馈更好。 录入时长 ：大多数用户认为5秒的录入时间最为合适，既能保证语音特征的准确捕捉，又不会太长导致不便。 系统可用性 ：用户对系统的整体可用性评价较高，系统可用性量表（SUS）得分为80.8，表明用户认为该系统易用且功能强大。 4. 噪声抑制与语音清晰度 噪声抑制 ：在真实环境中，系统有效地抑制了背景噪声和干扰说话者的声音，用户的噪声抑制评分从1.71提升到3.28（满分为5）。 语音清晰度 ：系统在各类嘈杂环境下显著提升了目标语音的清晰度，用户对整体听觉体验的评分从2.09提升到3.4（满分为5）。 5. 真实环境测试 多环境适应性 ：系统在室内外多种环境（如街道、咖啡馆、自然环境）下都表现良好，能够适应不同的背景噪声和用户移动时的变化。 运动与定位变化 ：通过对目标说话者和用户头部的运动模拟，系统能够在用户移动和旋转头部时，依然保持目标语音的清晰提取。 GitHub： https://github.com/vb000/LookOnceToHear 论文： https://arxiv.org/abs/2405.06289

Menu

分类目录

Look Once to Hear：全新的降噪耳机只需注视对方即可放大或者消除对方声音

Related Posts

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Perplexity 推出全新 AI 驱动购物助手：Shop Like a Pro 支持搜索结果一键下单

Mistral AI推出了更新版的Le Chat 支持在聊天中进行搜索、上传 PDF、编程、图像生成等

Recommendeds

Adobe 将推出新的生成式 AI 视频模型 Firefly Video Model 集成到其视频工具中

LibreChat：一个免费的开源 ChatGPT 克隆版可以接入各种 AI 模型

OpenAI 与Harvey合作为法律专业人士定制训练了一个案例法模型

MaskGCT：零样本文本到语音（TTS）模型支持跨语言配音、语音转换、情感控制等

微软发布 AutoGen Studio：一个无需编写代码即快速构建和设计多代理的系统

Nothing CEO 我们将进入一个后应用时代在未来将不再有应用程序

VimTS：自动识别图像或视频序中的文本信息并精确提取内容

Facet AI：可以精确控制图像元素的展现适合制作广告和专业图像

TTT：一种新型的语言模型架构能处理更长文本性能优于Transformer模型

Suno v3发布：可以在生成2分钟的广播级音乐歌曲

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Look Once to Hear：全新的降噪耳机 只需注视对方即可放大或者消除对方声音

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Look Once to Hear：全新的降噪耳机只需注视对方即可放大或者消除对方声音