RAGの回答が途切れたり、必要な根拠をうまく見つけられなかったりすると、「チャンクサイズが原因なのかな」と迷いますよね。
分割が細かすぎれば文脈が切れ、長すぎれば検索の焦点がぼやけるため、文書の構造と質問の細かさに合わせて設定を検証することが解決への近道です。
この記事では、日本語文書に合う分割の考え方、重なりを持たせる方法、回答の失敗から見直す手順までを紹介します。
まずは、RAGにおけるチャンクサイズが何を決める設定なのかから確認していきましょう。
チャンクサイズとはRAGで文書を分ける単位
チャンクサイズとは、RAGで参照させる文書を、検索できる小さなまとまりに分ける際の大きさです。
RAGは文書全体をそのまま読むのではなく、分割した単位ごとに「質問と関係がありそうか」を探します。
そのためチャンクサイズは、文書の保存形式というより、必要な根拠を回答へ渡すための区切り方に関わる言葉です。
チャンク・チャンキング・チャンクサイズの意味
チャンクは、長い文書から切り出したひとまとまりの文章を指します。
たとえば社内規程、議事録、製品マニュアルなどをRAGに登録するとき、1ファイルを丸ごと扱うのではなく、見出しや段落を基準にして複数のチャンクへ分けます。
この「文書をチャンクへ分ける作業」がチャンキングです。
チャンクサイズは、1つのチャンクにどの程度の文章量を含めるかという設定を意味します。
ここで大切なのは、チャンクを単なる細切れの文字列として扱わないことです。
質問への答えに必要な前提、条件、例外が同じまとまりに入っていれば、RAGはその部分を根拠として使いやすくなります。
反対に、段落の途中で機械的に切れると、「対象者」と「適用条件」が別々のチャンクになることがあります。
人が読むとつながる文章でも、検索結果としては片方しか取り出されないことがあるため、分割には意味の区切れ目を意識する必要があります。
| 用語 | 意味 | RAG内での位置づけ |
|---|---|---|
| チャンク | 文書から切り出した検索対象の文章単位 | 検索され、回答生成時の参照情報になる |
| チャンキング | 文書をチャンクへ分割する処理 | 登録前の前処理として行う |
| チャンクサイズ | 1チャンクに含める文章量の設定 | 分割の粒度を決める |
たとえば「申請期限は月末、ただし新規取引先は事前承認が必要」という一文なら、期限と例外条件を同じチャンクとして保つのが自然です。
チャンクは検索用の断片でありながら、回答の根拠として読まれる文章でもあります。
Indexing工程から検索・回答生成までの役割
RAGでは、文書を登録してから回答を返すまでに、大まかに「登録」「検索」「生成」の流れがあります。
チャンクサイズが関わるのは最初の登録工程ですが、その影響は検索結果と最終回答まで続きます。
- 元の文書から文字や見出し構造を取り出す
- 文書をチャンク単位に分割する
- 各チャンクを検索用の数値表現に変換し、索引へ保存する
- 質問も同じように数値表現へ変換し、近いチャンクを検索する
- 検索されたチャンクを生成AIへ渡し、回答を作る
このうち、分割して保存する工程は一般にIndexing工程、日本語では索引作成工程と呼ばれます。
検索システムは文書名だけを見て答えを探すのではなく、保存されたチャンクごとの内容を手がかりに候補を選びます。
質問が「休暇申請の提出先はどこか」であれば、休暇制度の説明を含む文書の中から、提出先が書かれたチャンクを探すイメージです。
検索されたチャンクは、そのまま最終回答ではありません。
生成AIは渡された複数のチャンクを読み、質問に合う情報を抜き出して文章にします。
つまりチャンクは、検索の対象であると同時に、生成AIへ渡す資料の最小単位です。
この仕組みを押さえると、チャンクサイズを決める作業が「文字数を選ぶだけ」ではないと理解しやすくなります。
チャンクとトークンを混同しないための整理
チャンクサイズの説明では、チャンクとトークンが混ざりやすいので、役割を分けて考えるとすっきりします。
チャンクは文書を分けた意味のある単位で、トークンはAIが文章を処理するために分解した単位です。
日本語では単語の間に空白がないため、トークンが「文字数」や「単語数」とぴったり一致するとは限りません。
| 比較項目 | チャンク | トークン |
|---|---|---|
| 何を表すか | 検索・参照のためにまとめた文章 | AIが処理するための細かな単位 |
| 主な用途 | 文書分割、検索、根拠の受け渡し | 入力できる量や処理量の管理 |
| 数え方 | 段落、文、見出しなどの区切りを基準に決められる | 利用するモデルやトークナイザーにより変わる |
| 関係 | 1チャンクは複数のトークンから成る | チャンクの量を測る尺度として使える |
「チャンクサイズをトークン数で指定する」という設定はよくありますが、両者が同義になるわけではありません。
トークン数は分割量を機械的にそろえるための物差しで、チャンクは検索結果として意味が通る文章のかたまりです。
たとえば見出しと本文で一つのルールを説明しているなら、トークン上限に余裕があっても、見出しを切り離さないほうが後から内容を判別しやすい場合があります。
トークン数だけを見て分割すると、文章の意味が途中で途切れることがあります。
一方で、生成AIには一度に読める入力量の上限があるため、トークンという尺度も無視できません。
「意味のまとまりを保つ」というチャンクの考え方と、「AIが扱える量に収める」というトークンの考え方を、別の役割として持たせるのが基本です。
チャンクサイズが精度・文脈・処理負荷に与える影響
チャンクサイズは、検索で見つかる情報の細かさと、生成AIへ渡せる文脈量を同時に動かします。
小さければ検索対象を絞りやすく、大きければ前後関係を残しやすい反面、どちらにも回答品質や処理負荷の代償があります。
小さすぎると必要な文脈が途切れやすい
チャンクが細かすぎると、質問に直接一致する一文は検索できても、その一文を正しく解釈するための条件や例外が抜け落ちます。
たとえば社内規程に「申請が必要」とだけ書かれた部分が見つかっても、対象者、申請期限、承認者が別のチャンクに分かれていれば、AIは不完全な回答を返しやすくなります。
とくに日本語文書は、主語を省いた次の文で補足したり、「ただし」「なお」といった接続表現の後に重要な制約を書いたりするため、文の一部だけでは意味が決まりにくい場面があります。
検索結果に正しい単語が含まれていることと、回答に必要な根拠がそろっていることは別です。
小さなチャンクでは、似た内容の断片が多数ヒットし、検索上位に必要情報が分散することもあります。
その状態で取得件数を増やすと今度は入力文脈が膨らむため、「細かくすれば常に精度が上がる」とは考えないほうが安心です。
回答が条件抜きの短い断定になりやすいなら、情報そのものがないのではなく、条件文まで同時に取得できていない可能性を疑います。
大きすぎると無関係な情報が混ざりやすい
大きなチャンクは段落や節の流れを保てる一方で、質問と関係の薄い文章まで一緒に検索対象になります。
埋め込み検索では、チャンク全体をひとまとまりの意味として表現するため、複数の話題が混在すると、質問との一致度がぼやけやすくなります。
たとえば「休暇申請」の質問に対して、休暇、出張、経費精算、勤怠修正まで含む長い部分が渡ると、AIが近くにある別制度の条件を取り違えることがあります。
人間でも、必要な一文を探しているのに数ページ分の説明を渡されると、目線が何度も行き来しますよね。
生成AIも入力された情報から回答を組み立てるため、無関係な記述が多いほど、焦点を保つための負担が増えます。
長いチャンクは文脈を守る代わりに、誤ってもっともらしい周辺情報を答えに混ぜる危険があります。
また、同じ件数の検索結果を取得しても、1件ごとの文章量が大きければ、モデルへ送る入力が増えます。
入力が長くなるほど応答までの待ち時間や利用量は増えやすく、モデルや利用環境によっては入力上限に近づくこともあります。
| チャンクサイズの傾向 | 検索時の特徴 | 回答時に起こりやすいこと | 処理面の傾向 |
|---|---|---|---|
| 小さい | 質問の語句に近い箇所を拾いやすい | 前提・条件・例外が欠けやすい | 検索候補が増えやすい |
| 大きい | 前後の説明を含めて取得しやすい | 周辺の無関係な情報が混ざりやすい | 1件あたりの入力量が増えやすい |
検索の粒度とコンテキスト消費のバランス
考えるべきなのはサイズの大小そのものではなく、質問に答えるために必要な情報を、過不足なく一度に渡せるかです。
検索の粒度が細かいほど質問との一致箇所は示しやすくなりますが、回答に必要な断片を複数集める必要が出てきます。
反対に粒度を粗くすると、関連情報を一括で渡しやすいものの、限られた入力文脈の中で本当に必要な部分の比率が下がります。
「検索で当たるか」と「渡した文章をAIが読み切れるか」は、別々に見ると整理しやすくなります。
質問が用語の定義や単一の手順を尋ねる内容なら、論点が絞られた検索結果のほうが答えは安定しやすい傾向があります。
一方で、規程の適用条件、契約の例外、障害対応の手順のように前後関係が結論を左右する内容では、関連記述が近い距離にあることを優先したくなります。
ここで大切なのは、取得件数を増やして不足を力任せに補おうとしないことです。
候補を増やせば検索漏れには対応しやすくても、似た記述や無関係な情報も増え、生成AIが参照すべき根拠を選びにくくなります。
回答に使う情報が少数の検索結果へ自然に収まり、質問の条件まで説明できる状態が、処理負荷と精度の折り合いを付けやすい地点です。
日本語RAGに適したチャンクサイズの設定基準
日本語RAGのチャンクサイズは、「何文字なら正解」と決められるものではありません。
日本語の文の切れ目、資料の見出し構造、利用者が投げる質問の細かさ、利用モデルが受け取れるトークン数を順番に照らすと、無理のない候補を絞れます。
文字数よりモデルが扱うトークン数を確認する
チャンクサイズを決めるときは、文字数よりトークン数を基準に考えるのが安全です。
生成AIは文章を文字単位ではなく、内部で分割したトークン単位で処理するためです。
日本語は英語のように単語間へ空白を入れないので、同じ文字数でも内容や記号の使い方によってトークン数が変わります。
たとえば、漢字が多い規程文、固有名詞が続く議事録、URLや表記記号を含む技術文書では、見た目の文字数だけでは入力量を読み切れません。
「500文字で区切ったから余裕がある」と思っていたのに、検索結果を複数まとめた段階で入力上限に近づくこともあります。
利用する埋め込みモデルと回答生成モデルについて、トークンの数え方と入力上限を製品ページや公式ドキュメントで確認しておきましょう。
分割処理の段階で各チャンクのトークン数を記録できるようにしておくと、サイズ調整が感覚頼みになりません。
句読点・文・段落の境界をなるべく保つ
日本語文書では、文の途中で機械的に切るより、句読点や段落の境界を保つほうが検索結果を読み取りやすくなります。
主語が前半、結論や条件が後半にある文を分断すると、取り出されたチャンクだけでは意味が成立しにくくなるからです。
特に「ただし」「一方で」「この場合」といった接続表現は、前後の文脈があって初めて役割がわかります。
まず見出しの配下をひとまとまりとして扱い、その中を段落、文、句読点の順に細かく見て区切る優先順位にすると自然です。
- 見出しと直後の説明文は、できる限り離さない
- 箇条書きは、項目名と説明を同じチャンクへ入れる
- 表は、列名だけが別チャンクにならないように扱う
- 引用文や注記は、参照先がわかる本文の近くへ置く
一文が非常に長く、モデルの扱える量を超えそうな場合は、読点の位置や列挙項目の区切りで分けます。
文末を待たずに切る処理は、意味が壊れていないか必ず確認してください。
読み返したときに「この一節だけ読んでも何の話かわかるか」を基準にすると、分割位置の違和感を見つけやすいものです。
文書の長さと質問の粒度から候補を絞る
チャンクサイズの候補は、元文書の長さよりも、RAGへ寄せられる質問がどこまで細かいかで決めるとぶれにくくなります。
利用者が知りたい情報の単位と、1チャンクに含める情報量が近いほど、検索時に余計な文章を混ぜにくくなるためです。
| 文書・質問の傾向 | サイズの考え方 | 区切りで優先するもの |
|---|---|---|
| FAQ、手順書、社内ルールの確認 | 短めの候補から考える | 質問と回答、手順の1項目 |
| 記事、報告書、会議記録 | 中程度のまとまりを候補にする | 見出し配下の話題、段落の連なり |
| 契約条件、仕様説明、制度の解説 | 条件と例外が切れない長さを優先する | 条項、定義、ただし書き |
| 背景から結論まで尋ねる要約質問 | やや広い文脈を残す候補を考える | 節全体の論旨 |
たとえば「申請に必要な書類は何か」と聞かれる資料では、概要から注意事項までを一緒に詰め込む必要はありません。
反対に「この方針が作られた理由と対象範囲は何か」のような質問が中心なら、結論だけを短く抜き出すと理由が消えてしまいます。
長い文書だから大きなチャンクにする、短い文書だから小さくする、と決めるのは早計です。
質問をいくつか書き出し、それぞれに答えるために最低限必要な文章のまとまりを見積もるほうが、実務では判断しやすいでしょう。
利用モデルの入力上限も踏まえて調整する
検索で見つけたチャンクは、最終的に回答生成モデルへ渡すため、モデルの入力上限から逆算する必要があります。
入力には検索結果の本文だけでなく、利用者の質問、システム指示、会話履歴、出典情報なども含まれます。
そのため、1チャンクだけなら収まるサイズでも、複数の検索結果を渡した途端に余白がなくなる場合があります。
確認したいのは、1件あたりのチャンク量ではなく、通常渡す検索件数を含めた合計トークン数です。
会話履歴を長く保持するRAGでは、同じ設定でも利用が進むほど使える入力枠が減ることがあります。
入力上限付近まで資料を詰めると、質問への回答より引用文の処理に注意が向きやすく、返答がぼやけることもあります。
モデルの上限に余裕を持たせ、質問と指示を置くための枠を先に確保してから、検索結果へ割り当てる量を決めてください。
モデルを変更する予定があるなら、新しいモデルの上限とトークン化の仕様を確認したうえで、チャンクサイズも同時に見直すのが安心です。
チャンクオーバーラップで分割境界の文脈を補う
チャンクオーバーラップとは、隣り合うチャンクの末尾と先頭に同じ文章範囲を持たせる設定です。
分割位置で文章の意味が切れても、前後どちらかのチャンクに必要な文脈が残るため、境界付近の検索漏れを抑えやすくなります。
隣り合うチャンクに一部を重ねる仕組み
たとえば、あるチャンクが「申請条件」と「例外規定」の間で終わると、質問によっては片方だけが検索され、回答に必要な条件が欠けることがあります。
そこで、次のチャンクを完全に新しい位置から始めず、直前の末尾にある数文や段落の一部を含めて作成します。
質問文との意味的な近さを調べる検索では、質問に直接答える語句と、その条件を説明する語句が同じチャンク内にあることが大切です。
オーバーラップがあれば、境界をまたぐ説明でも前半側または後半側で拾える可能性が残ります。
日本語では、主語が省略された次の文や、「ただし」「その場合」といった接続表現だけで始まる文も少なくありません。
このような文章は一文だけを切り出すと意味が薄くなりやすいため、前後のつながりを少し重ねる価値があります。
- 前のチャンクには、話題の結論と補足の冒頭が残る
- 次のチャンクには、補足の前提と詳しい説明が残る
- 検索結果のどちらが選ばれても、文脈が途切れにくい
ただし、オーバーラップは情報を増やす処理ではなく、同じ文を隣接チャンクへ再配置する処理です。
重ねれば必ず回答が良くなるわけではないため、境界を守りたい箇所に絞る考え方が向いています。
重複が少なすぎる場合と多すぎる場合の問題
重複が少なすぎると、見出しの直後にある説明、箇条書きの前提、但し書きなどが分離され、検索された断片だけでは答えを組み立てにくくなります。
特に「対象者」「条件」「例外」「手順」が連続する業務文書では、条件文と例外文が別々になると、もっともらしいのに不正確な回答が出やすくなります。
反対に重複を大きくしすぎると、ほぼ同じ内容のチャンクが検索結果に並びます。
検索上位が似た断片で埋まれば、本来は別の段落にある補足情報や例外規定が参照されにくくなるでしょう。
| 重複量の状態 | 起こりやすいこと | 見直す視点 |
|---|---|---|
| 少なすぎる | 文の主語・条件・結論が分かれ、境界付近で検索漏れが起きる | 接続詞の前後や、箇条書きの導入文をまたげているか |
| 適切 | 隣接する説明を保ちつつ、検索結果に異なる情報が残る | 質問に必要な前提と答えが同居しているか |
| 多すぎる | 類似した検索結果が増え、参照内容が重複しやすい | 同じ段落ばかりが上位に並んでいないか |
オーバーラップを増やしても、分割境界そのものが不自然なら問題は解消しません。
章の途中、表の行の途中、箇条書きの項目途中で切れている場合は、重複量を増やす前に区切り位置を確認したほうが早いことがあります。
同じ説明が何度も検索結果に現れる状態は、一見すると関連情報が十分に取れているようで、実際には参照の幅を狭めています。
文章のつながりを見ながら重複範囲を調整する
重複範囲は文字数だけで決めず、どの文まであれば次の文を誤解なく読めるかで考えると調整しやすくなります。
まず、実際の文書で分割境界になりそうな場所を確認し、境界の前後だけを続けて読んでみてください。
後半の文章を読んだときに「これは誰のことだろう」「何に対する例外だろう」と感じるなら、前側の説明が次のチャンクにも残るように重ねます。
- 見出し、段落、箇条書きのまとまりを優先して分割位置を決める
- 境界の直後に主語の省略、指示語、接続詞、例外条件がないかを見る
- 意味を補う直前の一文または段落の一部を重複候補にする
- 隣接チャンクがほぼ同文になっていないかを確認する
たとえば「申請は承認後に行う。 ただし、緊急時は事後申請を認める。」という記述では、「ただし」から始まる後半だけを検索しても、何の申請に関する例外かが伝わりにくいものです。
この場合は、例外規定の直前にある基本条件まで次のチャンクへ含めると、質問への回答に必要な関係を保ちやすくなります。
一方で、独立した見出しで話題が切り替わる箇所まで無理に重ねる必要はありません。
重複の役目は前の話題を長く持ち越すことではなく、分割によって欠けた意味を補うことです。
文章を声に出さず目で追っても意味がつながるか、という素朴な確認は案外役に立ちます。
文書の特徴に合わせたチャンク分割方法
分割方法は、チャンクサイズの数値より先に決めたい項目です。文書の形を無視して均一に切ると、検索対象に必要な条件や結論が別々のチャンクへ離れてしまいます。
まずは扱う文書が「一定の書式をもつか」「話題が連続しているか」を見て、分割単位を選びましょう。
固定長分割は実装しやすい一方で境界に注意する
固定長分割は、文字数やトークン数が一定になるよう機械的に文書を切る方法です。
実装が簡単で、見出しのないテキストや書式が崩れたPDFの抽出結果にも適用しやすいのが利点になります。
一方で、日本語は単語の区切りが英語ほど明確ではなく、一文の途中や「ただし」「例外として」といった重要な接続部分で切れることがあります。
たとえば利用条件の説明がチャンク末尾で終わり、対象外の条件が次のチャンクに入ると、検索結果には前半だけが出て誤った案内につながりかねません。
固定長を使うなら、句点や改行の近くを優先して境界にする処理を入れると、文章の破損を減らせます。
文書に見出し構造がなく、内容も比較的均質な場合には、固定長分割が堅実な出発点です。
見出し・段落・文を利用して構造を残す
社内規程、手順書、技術資料のように見出しと段落が整っている文書では、構造ベースの分割が向いています。
見出しを親情報として残し、その配下の段落や文をまとめると、「何について書かれた文章か」が検索時にも伝わりやすくなります。
特に日本語の文書は、「対象」「手順」「注意事項」「例外」が章ごとに整理されていることが多いため、目次の構造を捨てるのは少し惜しいところです。
| 文書内の要素 | 分割での扱い | 残したい情報 |
|---|---|---|
| 大見出し | 配下のチャンクに付与する | 文書全体でのテーマ |
| 小見出し | 分割の起点にする | 個別の論点や機能名 |
| 段落 | 原則として同じチャンクに収める | 説明と結論のつながり |
| 箇条書き | 直前の見出し・導入文と組み合わせる | 条件、手順、対象範囲 |
見出しだけを一つのチャンクにして本文と切り離すと、質問との一致はしても答えの中身が不足します。
逆に章全体を一括にすると、異なる話題まで混ざります。
「見出し+その見出しを説明する段落」を基本のまとまりにすると、構造と検索しやすさの折り合いを付けやすいでしょう。
長い節は段落単位で分けつつ、各チャンクに同じ見出し階層を付けておく方法が扱いやすいです。
意味のまとまりを基準に分けて文脈を守る
意味ベースの分割は、文字数や改行位置ではなく、話題が切り替わる地点を基準にチャンクを作る手法です。
「申請できる人」「申請手順」「却下される条件」のように、一つの問いに答えられる範囲をまとめるイメージになります。
会話文、説明記事、調査メモなど、見出しがあっても一段落内で話題が変わりやすい文書に役立ちます。
ただし、意味の変化を判定する処理には揺れがあります。細かく分けすぎると前提と結論が離れ、大きくまとめすぎると別の話題が同居するため、完全自動の結果をそのまま採用しないほうが安心です。
まず見出しや段落で大枠を切り、その内部で意味の転換点を探す二段階の分割なら、文書構造を保ちながら話題の混在も抑えられます。
「このチャンクだけを読んで質問に答えられるか」を確認すると、分割の良し悪しを判断しやすくなります。
FAQ・マニュアル・議事録ごとに分割単位を変える
同じ組織の文書でも、FAQ、マニュアル、議事録では情報の並び方が違います。一つの分割ルールで統一するより、文書タイプごとに検索される単位を合わせるほうが自然です。
| 文書タイプ | 基本の分割単位 | 扱いのポイント |
|---|---|---|
| FAQ | 質問と回答の一組 | 回答だけを独立させず、質問文も含める |
| マニュアル | 作業目的から完了条件までの手順単位 | 前提条件、注意事項、手順を離しすぎない |
| 議事録 | 議題ごとの発言と決定事項 | 日時、参加者、決定、担当者を関連付ける |
| 規程・ルール | 条項または項目単位 | 本文と但し書き、例外規定を同じ範囲に置く |
FAQは、質問文そのものが利用者の検索語に近いため、「質問+回答」で一つにするのが基本です。
マニュアルは番号付きの作業手順だけを切り出すと、準備や操作後の確認が抜けやすくなります。作業の開始条件から終了確認までを一続きに扱うほうが、実務では使いやすいはずです。
議事録では、発言を細かく切りすぎないことが大切になります。誰が何を決め、次に誰が対応するのかは、同じ議題のなかで初めて意味をもちます。
文書の見た目ではなく、利用者が質問するときに必要な答えの単位で切ることが、分割方法を選ぶいちばん確かな基準です。
自分のRAGに合う設定を評価で見つける手順
自分のRAGに合うチャンクのサイズは、一般論の数値を当てはめるより、同じ質問セットで候補を比較して決めるほうが確実です。
検索で正しい根拠を拾えるかと、その根拠から回答を作れるかを分けて確認すると、直すべき設定が見えやすくなります。
文書特性と想定質問から複数の候補を用意する
評価を始める前に、実際にRAGへ登録する文書と、利用者が投げる質問を小さな検証セットとして集めます。
このとき重要なのは、質問文だけで終わらせず、各質問に対して「回答の根拠になる箇所」をあらかじめ記録しておくことです。
根拠が分からない質問では、検索結果が良かったのか悪かったのかを後から判定できません。
検証セットには、次のように性質の異なる質問を混ぜておくと、特定の質問だけに強い設定を選びにくくなります。
- 用語の定義を尋ねる短い質問
- 条件や例外を確認する質問
- 複数の段落を読み合わせる必要がある質問
- 文書に答えがないことを確認する質問
- 表や箇条書きの項目を尋ねる質問
候補は、文書の章・節・段落といった区切りを保つ案を基準にしつつ、前後の文脈を広く含める案、細かく絞り込む案のように、意図して差を付けます。
似た候補を何種類も並べても比較の意味が薄いため、何を確かめるための候補なのかを一言で説明できる状態にしておくと安心です。
たとえば手順書なら、手順全体を含める候補と、1操作単位まで細かく切る候補では、失敗したときの理由を切り分けやすくなります。
サイズとオーバーラップを組み合わせて比較する
比較では、チャンクのサイズとオーバーラップを同時に大きく変えず、まずは片方の影響を追えるようにします。
二つの設定を一度に動かすと、結果が変わった理由がサイズなのか重複部分なのか判別しにくいためです。
最初はサイズを数段階用意し、分割方法、埋め込みモデル、検索件数、生成時の指示文などは固定します。
サイズの候補が絞れた後で、同じサイズのままオーバーラップを変え、境界にまたがる情報を拾えているか確認する流れが扱いやすいでしょう。
| 比較する段階 | 変更する項目 | 固定する項目 | 見るポイント |
|---|---|---|---|
| 第1段階 | チャンクサイズ | オーバーラップ、分割方法、検索件数 | 必要な根拠が検索上位に現れるか |
| 第2段階 | オーバーラップ | 選んだサイズ、分割方法、検索件数 | 節や段落の境界で根拠が欠けないか |
| 第3段階 | 検索件数または再ランキングの有無 | 選んだ分割設定 | 回答に不要な情報が増えすぎないか |
候補ごとの条件と結果は、表計算ソフトや評価用の記録表に残してください。
設定名だけでは後で混乱しやすいため、「段落単位・重複なし」のように分かる名前を付けると、数週間後の再検証でも迷いません。
一度に複数の条件を変えた比較結果は、採用判断の根拠にしないことが大切です。
検索指標と最終回答の品質を分けて確かめる
検索評価では、正解の根拠を含むチャンクが上位の検索結果に入った質問の割合を確認します。
たとえば、検索結果の上位数件に根拠が一つでも含まれるかを見る方法なら、「そもそも答えに必要な情報を渡せているか」を判定できます。
根拠が毎回下位に出る設定は、生成モデルの書き方を工夫しても安定した回答につながりにくいものです。
一方、検索結果に正しい根拠があるのに回答が誤る場合は、チャンク設定だけが原因とは限りません。
生成時の指示、参照させる検索件数、引用元の渡し方、モデルの回答方針などを別に点検します。
| 評価対象 | 確認する質問 | 主な判定 |
|---|---|---|
| 検索 | 正しい根拠は検索上位にあるか | 検索漏れ、順位、不要な検索結果の多さ |
| 回答 | 根拠に沿って質問へ答えているか | 正確さ、必要な条件の保持、説明の不足や過剰 |
| 根拠の扱い | 回答の内容を参照箇所で確認できるか | 根拠との不一致、文書にない補完の有無 |
回答品質は、「正しい・誤り」の二択だけにせず、根拠の正確さ、質問への適合、必要な条件の欠落、文書にない内容の混入を分けて記録すると役立ちます。
たとえば回答が短すぎる問題は、検索失敗ではなく、必要な手順が別チャンクに分かれたことや、生成時に要約を求めすぎていることがあります。
逆に、検索上位が似た内容のチャンクで埋まり、回答が回りくどくなるなら、重複や検索件数の影響も疑う場面です。
検索指標が少し良くても、利用者が必要とする条件を落とす回答が増えるなら、その設定を採用する理由はありません。
学習用の小規模検証から業務上の実質問へ広げる
最初から全文書・全質問で試すのではなく、答えと根拠を確認しやすい範囲で候補を絞ります。
小規模な検証では、各失敗を人の目で読み、検索、分割、生成のどこで問題が起きたかを追えるからです。
ここで上位候補を二つ程度まで残したら、対象文書を広げ、実際の業務で出やすい質問でも同じ評価を行います。
実質問には表現の揺れ、略称、前提を省いた聞き方、複数条件を含む質問が混ざるため、学習用の整った質問だけでは見えなかった弱点が出てきます。
特に、回答できない質問に対して「該当する根拠が見つからない」と適切に返せるかは確認しておきたい点です。
存在しない答えをもっともらしく補う挙動は、チャンクのサイズを調整しただけでは防げない場合があります。
本番運用後も、利用者からの質問、検索されたチャンク、最終回答、修正の要否を、個人情報や機密情報を適切に扱いながら記録します。
誤答だけを集めるのではなく、回答に時間がかかった質問や、利用者が聞き直した質問も残すと、設定変更の優先順位を決めやすくなります。
新しい文書形式を追加したときや、埋め込みモデルを変更したときは、同じ評価セットで再確認してください。
チャンク設定は一度決めて終わりではなく、文書と質問の変化に合わせて検証を繰り返すことで、業務で使える精度に近づいていきます。
回答の失敗症状からチャンク設定を見直す
回答の質が崩れたとき、原因をすぐ「チャンクサイズが合っていない」と決めつけるのは危険です。
回答文、取得されたチャンク、元文書の順に見比べると、分割境界・検索対象・埋め込みモデルのどこを直すべきか切り分けやすくなります。
回答が断片的なら分割境界と文脈量を確認する
文としては自然でも、主語や条件、例外だけが抜けた回答が続くなら、必要な情報がチャンクの境界で離れている可能性があります。
たとえば「申請できる条件」は前の段落にあり、「申請期限」は次の段落にある文書では、片方だけ取得されると答えが途中で切れたように見えます。
まずは回答の根拠として取得したチャンクを開き、質問に答えるための主語・対象者・条件・結論が同じ範囲に入っているか確認してください。
回答が短いこと自体は失敗ではありません。質問に対して必要な前提が取得できていないことが問題です。
- 文の途中や箇条書きの途中で分割されていないか
- 見出しと、その直後の説明文が別々になっていないか
- 「ただし」「対象外」「例外」の段落が離れていないか
- 取得件数が少なすぎて、前後関係を渡せていないか
境界に原因がある場合は、単純に文字数を増やす前に、段落・見出し・箇条書きのまとまりを保つ分割へ寄せるほうが直りやすいことがあります。
日本語の規程文や手順書は、一文だけ読んでも判断できない箇所が多いため、接続詞の後ろや注記が欠けていないかを見ると発見が早まります。
無関係な情報が多いなら取得単位を見直す
質問と少しだけ関係する情報ばかりが並ぶなら、一つのチャンクに複数の話題が同居しているか、検索結果を広く取りすぎている状態を疑います。
たとえば社内マニュアルの「アカウント設定」「権限申請」「退職時の手続き」が一続きで登録されていると、「権限を申請したい」という質問に退職関連の記述まで混ざりやすくなります。
この症状では、回答だけを読んで判断せず、検索上位に出たチャンクの本文と見出しを一覧で確認するのが近道です。
| 観察された状態 | 考えやすい原因 | 先に確認する箇所 |
|---|---|---|
| 一つの回答に別テーマが混ざる | 取得単位が広すぎる | 見出しをまたいで一つのチャンクになっていないか |
| 似た説明が何度も出る | 近い内容のチャンクを重複して取得している | 検索結果の本文と識別子 |
| 質問語だけ一致した別部署の情報が出る | 文書の属性で絞れていない | 部署・文書種別・更新日などの絞り込み条件 |
| 検索結果は妥当なのに回答が脱線する | 生成時に渡す件数や指示が適切でない | 生成モデルへ渡す根拠と回答指示 |
特に見落としやすいのは、サイズではなく文書属性の混在です。
年度、製品名、部署、対象ユーザーなどが異なる文書を同じ検索対象に置くなら、質問時の条件で絞れるようにしておかないと、分割を細かくしてもノイズは残ります。
検索結果が正しいのに回答だけが余計な話を始める場合は、チャンクの再設計より、生成に渡す件数と「根拠にないことは補わない」という指示を確認したほうがよい場面もあります。
検索漏れが続くなら重複範囲と分割方法を点検する
元文書には答えがあるのに見つからない場合、検索語の問題だけとは限りません。
重要な一文が分割境界にかかり、前半には質問語、後半には答えがあるような状態では、どちらのチャンクも質問との関連が弱く判定されることがあります。
このときは、該当箇所の前後を含めて登録されているか、隣り合うチャンクに必要な文脈が残っているかを確認します。
ただし、重複範囲を増やせば必ず改善するわけではありません。
重複が多すぎると似たチャンクが検索上位を占め、別の重要箇所が押し出されることがあります。
- 質問に使った語と、元文書の表現が大きく異なっていないか
- 表の見出し、セル、注記が分離されていないか
- 箇条書きの親項目と子項目が別チャンクになっていないか
- PDF変換時に段組みや改行順が崩れていないか
- 更新後の文書が検索用データに反映されているか
検索漏れの調査では、質問文を少し変えて何度も試すより、答えがある元の一節を検索対象から直接たどるほうが原因を見つけやすいものです。
該当箇所そのものが登録されていなければ取込処理の問題であり、登録済みなのに順位が低ければ分割・検索・埋め込みの順で確認範囲を絞れます。
改善しない場合は埋め込みモデルも確認し変更時に再検証する
分割された本文が読みやすく、検索対象にも答えが入っているのに検索漏れが続くなら、埋め込みモデルの日本語理解や文書との相性を確認します。
埋め込みモデルは質問とチャンクを数値化して近さを比べるため、「休暇」「有給」「年次休暇」のような言い換えや、社内固有の略称を十分に近い内容として扱えないことがあります。
モデルの変更は有力な選択肢ですが、既存のチャンクだけを新しいモデルで検索することは避けてください。
埋め込みの表現方法が変わるため、通常は文書側のチャンクも同じモデルで再埋め込みし、検索用データを作り直す必要があります。
変更後は「回答がよくなった気がする」ではなく、これまで失敗した質問を使って確認します。
| 確認する質問 | 見るポイント |
|---|---|
| 以前に検索漏れした質問 | 正しい根拠が検索上位に戻るか |
| 言い換えを含む質問 | 文書と異なる表現でも関連箇所を取得できるか |
| 固有名詞や略称を含む質問 | 似た名称の別情報に引っ張られないか |
| 答えが存在しない質問 | 根拠のない回答を作らず、不明と扱えるか |
モデル変更で検索順位が改善しても、古い文書や似た規程が混ざれば回答の安全性は別問題です。
回答の引用元、取得順位、文書の更新状態を一緒に記録しておくと、次に不具合が出たときも「どこから崩れたか」を落ち着いて追えます。
チャンクサイズは文書と質問に合わせて検証しよう
チャンクサイズは、RAGが質問に合う根拠を見つけ、回答へ十分な文脈を渡すための大切な設定です。
小さすぎると情報が途切れやすく、大きすぎると関係の薄い内容まで混ざりやすくなります。
日本語文書の見出しや文の区切りを優先して分けること、必要に応じて重なりを持たせることがポイント。
一般的な数値だけで決めず、同じ質問で検索結果と回答を比べながら、自分の文書と質問に合う設定を探していきましょう。