AI 自动翻译
arXiv:2610.33440v1 发布类型：新
摘要：从现有问答库中适配医学语言模型时，选择一个紧凑的训练子集是至关重要的一步。我们研究了基于扰动的数据选择方法，该方法利用由最终层表示的高斯扰动所衍生的两种信号：预测变化频率与非翻转边际收缩。在经过共享的熵预过滤后，表示敏感性优先化（RSP）通过自动均方根缩放将这两种信号加以整合；而RSP-Drop则仅依据收缩程度对候选样本进行排序。这两种选择器在筛选过程中仅使用问题和答案选项。我们在保留集规模分别为64、128和256个样本的五个医学问答数据集上，以MedGemma-4B为基准进行了评估。在主要预算128个样本的情况下，RSP和RSP-Drop分别获得了47.55和48.28的平均宏F1分数，而基于熵池匹配的随机选择仅为45.11。两者的相对表现因数据集和预算的不同而有所差异。一项针对已选样本的案例研究揭示了两种规则所选取的样本之间存在截然不同的干净 margin 分布特征；同时，全池消融实验表明，熵预过滤并非始终有益。这些回顾性结果刻画了在固定适配协议下，基于扰动的选择方法的实证效用及其局限性。本评估采用单一主干模型，并以具有明确训练族重叠的基准进行比较，但并未验证其临床有效性。