【Audio】Audio encoder相关Benchmark

note文章目录note一、Audio encoder相关Benchmark一、Audio encoder相关BenchmarkBenchmark评估什么适合你们用来判断什么HEAR Benchmark通用音频表征覆盖 speech、environmental sound、music 等多个领域判断一个 audio embedding 是否泛化好AudioSet大规模音频事件分类常用 mAP判断模型对环境声、音乐、事件声的理解能力ESC-50环境声音分类判断对常见环境声是否强MAEB新的大规模音频 embedding benchmark覆盖 speech、music、environmental sound、audio-text reasoning、多语言更系统地比较音频 embedding 模型DCASE Audio Retrieval / Audio Captioning tasks音频-文本检索/音频语义理解判断 CLAP 这类 audio-text 模型是否适合语义检索HEAR 的目标就是评估“什么 audio embedding 能泛化到多种下游音频任务”覆盖 speech、environmental sound、music并且是 NeurIPS 2021 shared challenge 发展出来的 benchmark。MAEB 是 2026 年提出的 Massive Audio Embedding Benchmark覆盖 30 个任务、speech/music/environmental sound/audio-text reasoning、100 语言并评估 50 模型它还指出没有单一模型在所有任务上都最强audio-text 对比模型擅长环境声分类但在多语言语音任务上可能很弱。链接https://huggingface.co/blog/AdnanElAssadi/maebleaderboardhttps://mteb-leaderboard.hf.space/?benchmark_nameMAEB%28beta%29