Skip to content

建议:集成 FunASR/SenseVoice 作为 ASR 引擎 #117

Description

@LauraGPT

您好!DH_live 是一个很实用的数字人项目。

建议考虑集成 FunASR / SenseVoice 作为语音识别引擎:

SenseVoice 的优势:

  • 推理速度是 Whisper 的 5 倍(234M 非自回归模型)
  • 内置情感识别 — 可以根据用户情绪调整数字人表情/响应
  • 音频事件检测 — 检测笑声、掌声等
  • 50+ 语种支持
from funasr import AutoModel
model = AutoModel(model="iic/SenseVoiceSmall")
result = model.generate(input="audio.wav")
# 返回:文本 + 情感标签 + 音频事件

对于数字人场景,SenseVoice 的低延迟和情感识别特别有价值,可以让数字人对用户的情绪做出更自然的回应。

Fay(12.8K stars)和 Linly-Talker(3.3K stars)等数字人项目已经集成了 FunASR。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions