본문으로 건너뛰기
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

실제 문서 수정 시 청크 재계산: 고정형, 재귀형 및 콘텐츠 기반 청크화의 업데이트 비용과 검색 품질 측정

arXiv:2610.31019v1 발표 유형: 신규 초록: 검색 증강 생성을 위한 청크화 전략은 거의 항상 정적인 스냅샷 기준으로 평가되지만, 지식 기반의 근간이 되는 문서들은 계속해서 변화합니다. 청크는 독립적으로 임베딩되기 때문에, 편집 이후 이동한 경계로 인해 변경되지 않은 텍스트까지 다시 임베딩해야 하는 문제가 발생합니다. 우리는 엄격한 바이트 단위 동일 재사용 규칙과 고정된 밀집형 인코더를 적용한 상태에서, 세 가지 무상태 청크화 방식(겹치지 않는 고정 크기, 재귀적 문단 우선, 그리고 콘텐츠 기반 청크화)에 대해 중국어와 영어 위키백과의 인접한 수정 쌍 120개를 대상으로 이러한 업데이트 비용을 측정했습니다. 116개의 문서로 구성된 공통 성공 집합에서, 파라미터를 고정하고 길이를 보정한 상태에서, 고정 크기 청크화는 전체 신버전 임베딩-입력 작업량의 57~68%를 재계산하는 것으로 나타났습니다. 재귀적 청

번역 대기 중입니다. 완료되면 자동 업데이트됩니다.

arXiv:2610.31019v1 Announce Type: new

Abstract: Chunking strategies for retrieval-augmented generation are almost always evaluated on a static snapshot, yet the documents underlying a knowledge base continue to change. Because chunks are embedded independently, a boundary that moves after an edit forces unchanged text to be re-embedded. We measure this update cost on 120 pairs of adjacent Chinese and English Wikipedia revisions for three stateless chunkers (non-overlapping fixed-size, recursive paragraph-first, and content-defined chunking) under a strict byte-identical reuse rule and a frozen dense encoder. On the 116-article common-success pool, with frozen, length-calibrated parameters, fixed-size chunking recomputes 57-68% of its full new-version embedding-input workload, recursive chunking 38-56%, and content-defined chunking 43-54% (it failed on 4 of 62 Chinese articles), while at these parameters mean evidence recall under a fixed 2048-token retrieval budget differs by less than two percentage points within either language. A cost-only parameter grid shows that the ranking of the two content-aware chunkers changes with chunk-length settings, whereas non-overlapping fixed-size chunking has the highest recomputation cost in every length-matched condition. Controlled edits and a verbatim-presence diagnostic support boundary drift as one contributor to recomputation of text already present in the previous version. Update cost is therefore a substantial, parameter-sensitive dimension that static retrieval evaluations do not expose and that should be reported alongside retrieval quality.

자료 출처

arXiv cs.CL
← 전체 소식 이어 읽기