文脈付き検索 (Contextual Retrieval) によるRAG性能強化の手法

RAGの概要とその課題

1. ドキュメント分割: 知識ベース内の文書群を数百トークン程度の小さなチャンク（断片）に分割する。
2. 埋め込みベクトル化: 各チャンクをベクトル表現に変換する（埋め込みモデルで意味を符号化）。
3. ベクターデータベース格納: それら埋め込みをベクターデータベースに格納し、類似度検索ができるようにする。

• コンテキスト長の制限と断片化: 前述の通りLLMには1回のプロンプトに与えられるテキスト長に上限があるため、大きな文書は細切れ（チャンク化）にする必要があります。このチャンク化によって文脈が失われる問題があります。例えば、「Its more than 3.85 million inhabitants make it the European Union's most populous city」というチャンクだけを見ても、それが「どの都市」の話か不明です。このように内容単体では意味が通じないチャンクが生じ、検索クエリとのマッチングが難しくなります。その結果、ユーザーの質問に対して不完全または的外れ（ノイズの多い）な検索結果につながる恐れがあります 。
• 検索精度の限界: RAGで主に用いられるベクトル（意味）検索は、高度な意味的類似性に基づいて関連箇所を見つけられる一方、クエリに含まれる固有名詞や数字などの厳密な一致が要求される情報を見落とす場合があります。例えばクエリにユニークなIDや専門用語が含まれていても、ベクトル類似度だけでは適切なチャンクを上位に出せないことがあります。また意味的には近いが文脈的には無関係な断片が上位に混ざり込むケースもあり、重要な情報がノイズに埋もれてしまう可能性もあります。このような理由から、従来型のRAGでは情報検索の取りこぼしやノイズによる精度低下が発生しやすいのです。

Contextual Retrievalの概要と利点

• Contextual Embeddings（文脈埋め込み）: チャンクを埋め込む前に、そのチャンクが「どの文書の何に関する内容か」を短く要約した説明文を前置します。これにより、埋め込みベクトルにチャンク単体では失われていた文脈情報（例: 固有名詞や日付、章題など）が織り込まれ、意味検索でも文脈を考慮したマッチングが可能になります。
• Contextual BM25（文脈BM25）: 上記の文脈付きテキストを用いてBM25アルゴリズムに基づく検索インデックス（単語ベースの逆引きインデックス）を構築します。各チャンクに文脈説明が追加されているため、本来チャンク単体では含まれていなかったキーワード（企業名・地名・日時など）でもインデックスに登録されます。その結果、ユーザークエリに含まれる重要語との直接的な単語マッチも可能となり、ベクトル検索だけでは見逃す情報を補完できます。

PYTHON
# 例: 文脈追加前のチャンク
original_chunk = "The company's revenue grew by 3% over the previous quarter."
# 文脈追加後のチャンク
contextualized_chunk = "This chunk is from an SEC filing on ACME Corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."
コードをコピー

具体的な実装方法

1. ドキュメントのチャンク化 – 対象となる文書全体を小さなテキスト片（チャンク）に分割します。チャンクのサイズは文脈が損なわれない程度に調整します（例: 段落単位や数百文字程度）。
2. 文脈情報の生成 – LLMを用いて各チャンクに対する短い文脈説明を生成します。説明には「そのチャンクが元の文書内で何について書かれているか」を要約させます。
3. 文脈付きチャンクの構築 – 得られた文脈説明テキストを元のチャンクの先頭に付加し、一つの self-contained なチャンクテキストにします。
4. ベクトル埋め込みの作成 – 文脈付きチャンクごとに埋め込みベクトルを計算し、ベクターデータベースやインデックスに保存します。
5. BM25インデックスの構築 – 文脈付きチャンク群をコーパスとして、BM25アルゴリズムによる単語検索用のインデックスを構築します（例えば各チャンクを単語リストに分割してBM25スコア計算ができるようにします）。
6. クエリ処理（検索ステップ） – ユーザーからクエリが来たら、まずそのクエリ文を埋め込みベクトルに変換し、ベクトル類似度検索で関連度の高い上位N件のチャンクを取得します。同時に、クエリ文を単語に分割してBM25インデックスに問い合わせ、スコア上位N件のチャンクも取得します。これらを統合し、候補チャンク一覧を作成します。
7. リランキング（再順位付け） – 必要に応じて、候補チャンクをクエリとの関連性が高い順に並び替えます。例えば、専用のリランキングモデル（クロスエンコーダなど）にクエリと各チャンクを入力して関連スコアを再評価し、上位K件に絞り込みます。Anthropicの実験では、このリランキングを行うことでさらなる精度向上（最終的な検索エラー率が67%減まで改善）が得られています。
8. 回答生成 – 最後に上位K件の関連チャンクをコンテキストとしてLLMに与え、ユーザーの質問に対する回答を生成させます。通常K=5〜20件程度のチャンクをモデルに渡しますが、Anthropicの検証では上位20件程度まで文脈を入れることで応答精度が向上することが報告されています。

PYTHON
# 前提: `document_text`に検索対象の文書全文が入っているとする。
# Step 1: 文書をチャンクに分割する（例として簡易に段落ごとに分割）
chunks = document_text.split("\n\n")  # 2つの改行で区切る例

# Step 2: LLMを使って各チャンクの文脈説明を生成する
import openai
openai.api_key = "YOUR_API_KEY"
contextual_chunks = []
for chunk in chunks:
    prompt = f"<document>\n{document_text}\n</document>\n" \
             f"Here is the chunk we want to situate within the whole document\n<chunk>\n{chunk}\n</chunk>\n" \
             f"Please give a short succinct context to situate this chunk within the overall document."
    response = openai.ChatCompletion.create(model="gpt-4", messages=[{"role": "user", "content": prompt}])
    context = response["choices"][0]["message"]["content"].strip()
    contextual_chunks.append(context + " " + chunk)

# Step 3: 文脈付きチャンクを埋め込みベクトルに変換する
from sentence_transformers import SentenceTransformer
embed_model = SentenceTransformer('all-MiniLM-L6-v2')
chunk_embeddings = embed_model.encode(contextual_chunks)

# Step 4: 文脈付きチャンク群からBM25インデックスを構築する
from rank_bm25 import BM25Okapi
# 各チャンクをトークン化（空白区切りの単語リストに変換）
tokenized_chunks = [c.split() for c in contextual_chunks]
bm25_index = BM25Okapi(tokenized_chunks)

# --- ここまででオフラインの事前準備完了。以下はクエリごとの処理 ---
# Step 5: クエリに対するベクトル検索とBM25検索を実行する
user_query = "ACME Q2 2023 revenue growth?"
query_embedding = embed_model.encode(user_query)
# ベクトル類似度計算（コサイン類似度の代わりに内積を使用）
import numpy as np
sim_scores = np.dot(chunk_embeddings, query_embedding)
# 上位5件のインデックスを取得
top_vec_idx = np.argsort(sim_scores)[-5:][::-1]

# BM25によるスコア計算と上位5件の取得
query_tokens = user_query.split()
bm25_scores = bm25_index.get_scores(query_tokens)
top_bm25_idx = np.argsort(bm25_scores)[-5:][::-1]

# 結果を統合し候補チャンクを抽出
candidate_idx = set(top_vec_idx) | set(top_bm25_idx)
candidates = [contextual_chunks[i] for i in candidate_idx]

# Step 6: （オプション）候補チャンクをリランキングし、上位K件を選出する
# ここでは簡易にベクトル類似度とBM25スコアの合計でスコアリングする
combined_scores = {}
for i in candidate_idx:
    combined_scores[i] = sim_scores[i] + bm25_scores[i]
top_K_idx = sorted(combined_scores, key=combined_scores.get, reverse=True)[:5]
top_chunks = [contextual_chunks[i] for i in top_K_idx]

# Step 7: 選ばれたチャンクをコンテキストとしてLLMに渡し、最終回答を生成する
context_text = "\n".join(top_chunks)
final_prompt = user_query + "\n\n" + context_text
answer = openai.ChatCompletion.create(model="gpt-4", messages=[{"role": "user", "content": final_prompt}])
print(answer["choices"][0]["message"]["content"])
コードをコピー

応用例と実際のユースケース

• カスタマーサポートAI: 製品マニュアルやFAQデータベースを参照するチャットボットでは、ユーザーの質問に対応する正確なページや項目を見つけ出す必要があります。Contextual Retrievalを使えば、各FAQやマニュアルの断片に「この内容は○○製品の△△機能に関する説明」といった文脈を持たせて索引化できるため、ユーザー質問に含まれる製品名・機能名から関連箇所を漏れなく検索できます。結果として、従来よりも的確な回答（関連FAQ抜粋や手順案内など）を高速に返せるようになります。
• 法務文書検索アシスタント: 法律事務所向けのLLMアシスタントでは、判例や法令データベースから該当箇所を探し出して要約する能力が求められます。膨大な判例集も、文脈付き検索を導入することで「〇〇事件の判決文の結論部分」「△△法第X条の条文テキスト」といったメタ情報つきでチャンク化できます。これにより、ユーザーが「○○事件ではどのような判決理由でしたか？」と質問した際にも、該当事件名や関連条文を含むチャンクを正確に検索でき、見落としを防ぎます。結果、法律相談やリサーチにおいて信頼性の高い回答を短時間で提示できるようになります。
• 社内ナレッジ検索・ドキュメントQA: 企業内のWikiや技術文書、研究レポートなどを横断検索する社内向けQAシステムでもContextual Retrievalは有用です。例えば社内Wikiの各ページをチャンク化する際にページタイトルやセクション見出しを付加しておけば、ユーザーが曖昧なキーワードで検索した場合でも関連する文脈を持つページ断片を見つけられます。これにより社内情報を効率よく引き出し、従業員の情報検索や新人教育を支援します。
• コードベースQ&A: 大規模なソースコードリポジトリを対象に、LLMでコードの説明やリファクタ提案を行うケースにも応用できます。関数やクラスの説明コメント、モジュール構成といった情報を各コード片チャンクに付与して索引化すれば、例えば「このエラーを投げる関数はどこに定義されていますか？」という質問に対し、関数名やエラー文言を含む正確なコード位置を検索できます。実際、AnthropicのテストでもコードドキュメントへのContextual Retrieval適用により検索精度が大きく向上することが示されています 。これによって開発者支援AIはコード上の該当箇所を正確に特定し、有用な回答（関数の用途や関連箇所の説明など）を生成できます。