本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

実際のドキュメント改訂におけるチャンク再計算:固定型、再帰型、およびコンテンツ定義型チャンキングの更新コストと取得品質の測定

arXiv:2610.31019v1 発表タイプ:新規 要旨:リトリーバル拡張型生成におけるチャンク分割戦略は、ほとんど常に静的なスナップショット上で評価されているが、知識ベースの基盤となる文書は継続的に変化し続けている。チャンクは独立して埋め込まれるため、編集後に境界が移動すると、変更されていないテキストも再び埋め込み直す必要が生じる。我々は、厳密なバイト単位での同一性保持による再利用ルールおよび固定された密集型エンコーダーを前提として、3種類のステートレスなチャンク手法(重複なし固定サイズ、再帰的段落優先、コンテンツ定義型チャンク)について、中国語と英語のWikipediaにおける隣接する改訂ペア120組を対象に、この更新コストを測定した。116記事からなる共通成功プールにおいて、パラメータを固定し長さを調整した条件下では、固定サイズのチャンク手法は、新しいバージョンの埋め込み入力全体のワークロードの57〜68%を再計算することになる。再帰的チュー

翻訳待ちです。完了すると自動更新されます。

arXiv:2610.31019v1 Announce Type: new

Abstract: Chunking strategies for retrieval-augmented generation are almost always evaluated on a static snapshot, yet the documents underlying a knowledge base continue to change. Because chunks are embedded independently, a boundary that moves after an edit forces unchanged text to be re-embedded. We measure this update cost on 120 pairs of adjacent Chinese and English Wikipedia revisions for three stateless chunkers (non-overlapping fixed-size, recursive paragraph-first, and content-defined chunking) under a strict byte-identical reuse rule and a frozen dense encoder. On the 116-article common-success pool, with frozen, length-calibrated parameters, fixed-size chunking recomputes 57-68% of its full new-version embedding-input workload, recursive chunking 38-56%, and content-defined chunking 43-54% (it failed on 4 of 62 Chinese articles), while at these parameters mean evidence recall under a fixed 2048-token retrieval budget differs by less than two percentage points within either language. A cost-only parameter grid shows that the ranking of the two content-aware chunkers changes with chunk-length settings, whereas non-overlapping fixed-size chunking has the highest recomputation cost in every length-matched condition. Controlled edits and a verbatim-presence diagnostic support boundary drift as one contributor to recomputation of text already present in the previous version. Update cost is therefore a substantial, parameter-sensitive dimension that static retrieval evaluations do not expose and that should be reported alongside retrieval quality.

情報源

arXiv cs.CL
← すべてのニュースへ