arXiv:2610.33440v1 발표 유형: 신규
요약: 컴팩트한 학습 서브셋을 선택하는 것은 기존의 질문-답변 데이터베이스에서 의료 언어 모델을 적응시키는 데 있어 중요한 단계입니다. 우리는 최종 블록 표현에 대한 가우시안 페르터베이션으로부터 도출된 두 가지 신호, 즉 예측 변화 빈도와 비플립핑 마진 수축을 활용한 페르터베이션 기반 데이터 선택 방법을 연구합니다. 공유 엔트로피 사전 필터를 거친 후, 표현 감도 우선순위화(RSP)는 자동 제곱평균 스케일링을 통해 이들 신호를 결합하는 반면, RSP-드롭은 수축 정도만을 기준으로 후보를 순위 매깁니다. 두 선택 알고리즘 모두 선택 과정에서 질문과 답변 옵션만을 사용합니다. 우리는 MedGemma-4B를 이용해 64개, 128개, 256개의 예제를 유지한 설정에서 다섯 개의 의료 QA 데이터셋을 대상으로 이들을 평가했습니다. 주요 예산인 128개의 경우, RSP와 RSP-드롭은 각각 47.55와 48.28의 데이터셋 평균 매크로-F1 점수를 기록했으며, 이는 엔트로피 풀과 일치하는 무작위 선택의 45.11에 비해 우수한 성과입니다. 두 알고리즘의 상대적 성능은 데이터셋과 예산에 따라 달라집니다. 선택된 서브셋에 대한 사례 연구에서는 두 규칙이 교환하는 예제들 간에 서로 다른 깨끗한 마진 프로파일이 존재함을 확인했으며, 전체 풀에 대한 아블레이션 분석을 통해 엔트로피 사전 필터링이 항상 유익한 것은 아니라는 점도 드러났습니다. 이러한 후향적 결과들은 고정된 적응 프로토콜 하에서 페르터베이션 기반 선택의 경험적 효용과 한계를 규명합니다. 본 평가는 하나의 백본을 사용하며, 훈련 패밀리의 중복이 문서화된 벤치마크를 기준으로 수행되었으며, 임상적 유효성을 입증하는 것은 아닙니다.