Meta新开源多语种语音基座Omnilingual ASR

摘要

Meta FAIR 团队最近祭出了Omnilingual ASR，这不仅仅是对 MMS (Massively Multilingual Speech) 的简单升级，而是一次从“多任务学习”向“上下文学习（In-Context Learning）”的范式跃迁。通过将 Wav2Vec 2.0 编码器扩展至 70 亿参数，并引入 LLM 风格的 Decoder，Omnilingual ASR 不仅原生支持 1600+ 种语言，更具备了类似 GPT 的“零样本”扩展能力——只需给出几个音频-文本对，即可解锁从未见过的语言。

1. 核心问题：ASR 的“长尾”与“固化”

在 Omnilingual ASR 出现之前，工业界解决多语言 ASR 主要面临两大痛点：

1. 数据长尾效应（The Long-Tail Problem）：
   世界现存 7000+ 种语言，Whisper 等主流模型仅覆盖了其中资源最丰富的 ~100 种。对于像豪萨语（Hausa）或某些土著方言，几乎没有足够的标注数据进行传统的监督训练。

2. 模型扩展性差（Rigidity of Architecture）：
   传统的端到端 ASR（如 Conf