明智地低语：用于ASR微调的智能子集选择

arXiv：2610.32997v1 公告类型：新

摘要：像OpenAI的Whisper这样的自动语音识别（ASR）模型在语音识别质量上取得了显著提升，但微调成本仍然较高，尤其是在已有大量转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中，我们提出了一种基于嵌入的子集选择方法，用于为ASR微调挑选更小的训练集。我们利用Whisper的预训练编码器，将每个音频样本映射到一个固定维度的嵌入空间，并采用贪心的k中心算法来选取多样且具有代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估，结果表明，k中心选择往往优于随机采样，尤其是在子集规模较小时。对词汇多样性的分析显示，与同等规模的随机子集相比，k中心子集能够捕捉到更为广泛的语言内容，这或许可以解释其表现出的优越性。总体而言，我们的研究结果表明，基于嵌入的子集选择为这两种被评估语言的ASR子集选择提供了一种实用策略，且在较小的样本预算下展现出最明显的识别优势。