ASR Awesome

ASR（Automatic Speech Recognition）和 STT（Speech-to-Text）模型、工具与评估资源索引。

基础概念

• STT / Speech-to-Text / ASR / Automatic Speech Recognition / Speech Recognition。
• 常与 VAD、endpointing、标点恢复和 speaker diarization 组成语音处理 pipeline。
• 流式识别重点关注首 token 延迟、partial transcript、稳定性和最终修正。

Models

• modelscope/FunASRGitHubmodelscope/FunASRmodelscope/FunASR · MIT · 参考 · FunAudioLLM/SenseVoice · Multilingual Voice Understanding Model · 模型缓存目录 /.cache/modelscope/hub/iic笔记：FunASR
  • MIT，Python，PyTorch；包含 ASR、VAD、标点和说话人相关组件。
• Voxtral
  • 支持中文。
  • Voxtral Mini 3BHuggingFaceHF:mistralai/Voxtral-Mini-3B-2507支持中文 · mistralai/Voxtral-Mini-3B-2507 · 9.5 GB of GPU RAM in bf16 or fp16 · mistralai/Voxtral-Small-24B-2507 · 55 GB of GPU RAM in bf16 or fp16huggingface.co · huggingface.co/mistralai/Voxtral-Mini-3B-2507笔记：Voxtral
  • Voxtral Small 24BHuggingFaceHF:mistralai/Voxtral-Small-24B-2507支持中文 · mistralai/Voxtral-Mini-3B-2507 · 9.5 GB of GPU RAM in bf16 or fp16 · mistralai/Voxtral-Small-24B-2507 · 55 GB of GPU RAM in bf16 or fp16huggingface.co · huggingface.co/mistralai/Voxtral-Small-24B-2507笔记：Voxtral
  • Transformers Voxtral 文档HuggingFaceHF:docs/transformershuggingface.co · huggingface.co/docs/transformers/main/en/model_doc/voxtral
• NVIDIA Canary-1B-FlashHuggingFaceHF:nvidia/canary-1b-flashhuggingface.co · huggingface.co/nvidia/canary-1b-flash
  • 语言覆盖需按模型卡确认，原有记录注明不含中文。

VAD 与辅助组件

• Silero VADGitHubsnakers4/silero-vad
• FunASR FSMN-VADGitHubmodelscope/FunASRmodelscope/FunASR · MIT · 参考 · FunAudioLLM/SenseVoice · Multilingual Voice Understanding Model · 模型缓存目录 /.cache/modelscope/hub/iic笔记：FunASR
• pyannote-audioGitHubpyannote/pyannote-audio
  • speaker diarization、speech activity detection 和 overlapped speech detection。

评估

• WER = (S + D + I) / N
  • S：Substitutions；D：Deletions；I：Insertions；N：Total words。
• RTFx 通常表示单位计算时间处理的音频秒数，应和首包延迟、并发、内存一起评估。
• Hugging Face EvaluateHuggingFaceHF:docs/evaluatehuggingface.co · huggingface.co/docs/evaluate/index
• WER MetricHuggingFaceHF Space:evaluate-metric/werhuggingface.co · huggingface.co/spaces/evaluate-metric/wer
• Open ASR LeaderboardHuggingFaceHF Space:hf-audio/open_asr_leaderboardhuggingface.co · huggingface.co/spaces/hf-audio/open_asr_leaderboard