2026년 10월 24일 arXiv에 제출된 한 연구(논문 번호 2610.31148v1)는 도구 강화가 언어 모델의 비교 안정성에 미치는 영향을 체계적으로 분석했다. 연구에 따르면, 모델에 도구를 탑재하면 프로그램이 답변할 수 있는 질문에 대한 정확도는 향상되지만, 문제의 문장 구성이 미세하게 변경될 때마다 모델 간 상대적 순위 변동이 전반적으로 심화되는 현상이 관찰되었다.
연구팀은 도구 호출 과정을 다섯 개의 독립적인 단계로 분해하는 매칭 프로토콜을 제안했다: 답변 읽기, 추론 과정, 도구 호출 여부에 대한 결정, 도구가 반환한 답변, 그리고 도구를 호출하지 않을 때의 기본 보고서. 이 프로토콜은 여섯 가지 오픈소스 모델에 적용되어 다섯 가지 지식 영역과 다섯 가지 서로 다른 표현 방식의 질문들에 대해 테스트되었다. 그 결과, 표현의 민감성 확대 정도는 모델의 도구 호출 빈도와 정비례하며, 또한 호출 빈도 자체는 문구의 변화에 따라 달라지는 것으로 나타났다—이러한 현상은 일부 모델에서는 두드러지지만, 다른 모델에서는 뚜렷하게 드러나지 않았다.
추가 분석에 따르면, 감수성은 인터페이스와 명령어 설계에 의해 조절된다. 분자 수준에서는 네이티브 도구 호출 인터페이스를 사용하고 두 번째 버전의 도구 설명을 제공한 결과, 감수성이 확대되는 현상은 관찰되지 않았다. 그러나 도구가 중간 결과를 반환하는 경우에는 감수성이 여전히 지속되었다. 본 연구는 모델 출력이 결정론적이라 하더라도 표현 간 비교 결과의 안정성을 보장할 수 없다는 점을 강조하며, 향후 평가 시 단일 정확도 지표에만 의존하지 않고 호출 빈도와 다양한 표현 방식에 따른 비교 안정성을 함께 보고할 것을 제안한다.