실제 문서 수정 시 청크 재계산: 고정형, 재귀형 및 콘텐츠 기반 청크화의 업데이트 비용과 검색 품질 측정

arXiv:2610.31019v1 발표 유형: 신규 초록: 검색 증강 생성을 위한 청크화 전략은 거의 항상 정적인 스냅샷 기준으로 평가되지만, 지식 기반의 근간이 되는 문서들은 계속해서 변화합니다. 청크는 독립적으로 임베딩되기 때문에, 편집 이후 이동한 경계로 인해 변경되지 않은 텍스트까지 다시 임베딩해야 하는 문제가 발생합니다. 우리는 엄격한 바이트 단위 동일 재사용 규칙과 고정된 밀집형 인코더를 적용한 상태에서, 세 가지 무상태 청크화 방식(겹치지 않는 고정 크기, 재귀적 문단 우선, 그리고 콘텐츠 기반 청크화)에 대해 중국어와 영어 위키백과의 인접한 수정 쌍 120개를 대상으로 이러한 업데이트 비용을 측정했습니다. 116개의 문서로 구성된 공통 성공 집합에서, 파라미터를 고정하고 길이를 보정한 상태에서, 고정 크기 청크화는 전체 신버전 임베딩-입력 작업량의 57~68%를 재계산하는 것으로 나타났습니다. 재귀적 청