検索は近い候補を探す工程

検索で候補が返ることと、質問に合う記録があることは別です。 ベクトル検索は、質問と資料を数値で表し、近いものを候補として探します。同じ語を使わない表現も探せる一方、近さだけでは、対象や日付が一致しているか、本文が答えを裏付けているかまでは判断できません。

Microsoftの公式説明でも、ベクトル検索は数値表現の類似度を使う方法とされています。似た話題の資料が見つかっても、求める記録の存在を証明したことにはなりません。

キーワード検索は、資料名や用語などの語を手掛かりに探す方法です。Microsoftの検索方式の説明では、番号や日付などを探す場合と、概念が近い表現を探す場合の役割を分けています。ただし、キーワード検索を使うだけで、番号や適用日の厳密な一致が保証されるわけではありません。

資料を検索し、その内容をもとにAIが回答を作る方法は、検索拡張生成（RAG）と呼ばれます。RAGの公式説明を工程の参考にしていますが、社内の検証でAzure AI Searchを使ったという意味ではありません。「資料にないことは答えない」という指示に加え、何を根拠に回答してよいかを確かめる工程が必要だと考えます。

社内の検証で見えたこと

対象は、hirostaが社内で開発している、学習記録を扱うAI相談です。2026年10月10日の探索的な比較には174問を用い、そのうち20問が存在しない記録や対象違いを尋ねる質問、残り154問が期待する記録のある質問でした。

存在しない記録や対象違いを尋ねる20問では、ベクトル検索だけだと、20問すべてで何かしら近い候補を返しました。 数えたのは「検索が候補を返した質問の数」です。AIが20問すべてに誤回答した、という結果ではありません。

実際のAIの回答も代表例5件で確認し、その5件では主な事実と参照元が記録と一致しました。これは代表例の照合結果であり、174問全体の回答を確認した結果でも、「記録なし」を正しく返せた割合でもありません。回答の正解率を示す数字として扱いません。

今回の判断は、IDや日付の厳密な照合と、検索した本文を読んで「記録なし」を判断する工程が要る、というものです。まず記録の単位で検索し、キーワード検索と正しい資料への案内を改善する方針にしました。ベクトル検索は補助とし、別の質問で追加評価します。これは改善方針であり、本番で変更・効果確認まで終えたという報告ではありません。

検索方式ごとの詳しい比較は検索方式の選び方の記事をご覧ください。ここでは、候補を回答の根拠として使えるかを判断する工程に絞ります。

想定シナリオ：規程の照合・本文確認・窓口への引き継ぎ

規程を新しく下書きするときの法令・官庁資料の照合は、社内規程のAI下書きで根拠を確かめる手順で扱います。

以下は、中小企業の規程・手順書を使う架空の想定シナリオです。今回の社内比較で実施した工程や、実際の質問文ではありません。

資料の単位と照合する条件を用意する

備品申請の規程を案内する会社を考えます。検索する資料に、規程番号、版、適用日、対象部署、正本へのリンクを付けます。本文の一部だけを拾って対象や例外が分からなくならないよう、照合に必要な条件と本文を一緒に確認できる単位にします。

番号や日付が指定された質問は、その値を資料の項目と厳密に照合します。「以前の規程」のように条件が曖昧なら、勝手に版を選ばず、適用時期などを聞き返します。別部署の資料や旧版が近い候補に出ても、そのまま回答の根拠には使いません。

条件が合う候補の本文を読む

条件が一致したら、本文の該当箇所・例外・注記を確認します。「備品申請」という語があるだけで、質問された申請先まで書いてあるとは限りません。AIが回答を作る場合も、参照した資料と、答えの根拠にした箇所を確認できるようにします。

根拠がある場合は、本文の範囲で回答し、正本へ案内します。候補同士が食い違う、本文が欠けている、例外の適用を決められない場合は、回答を保留して担当者へ戻す運用を用意します。

「記録なし」と「確認できない」を分ける

検索で見つからない理由には、資料がない場合のほか、検索対象への反映漏れ、検索の取りこぼし、質問の条件不足などがあります。利用者が閲覧できる範囲も限られます。見つからなかっただけで「社内のどこにも存在しない」と断定しないようにします。

たとえば想定シナリオでは、次のように返し方を決められます。

  • 確認した範囲に根拠がない：「検索対象の備品申請規程では、指定の条件に合う記録は確認できませんでした。担当窓口へご確認ください。」
  • 条件が不足している：「適用する時期を確認できません。いつの申請について知りたいか教えてください。」
  • 資料を確認できない：「必要な資料を確認できないため、回答を保留します。担当窓口へご確認ください。」

権限外の資料の有無や内容を回答に含めないことも必要です。資料の版・閲覧権限・更新担当の準備は導入準備の記事で説明しています。

人が確認する先を決める

未回答を受け取る担当者には、質問の条件、確認した資料と版、不足した根拠を、権限の範囲内で引き継ぎます。担当者が正本や検索対象への反映状況を確認し、資料の不足なのか、検索で取りこぼしたのか、個別判断が必要なのかを整理します。

回答を直すだけで終えず、必要なら正式な資料を更新し、検索側へ反映した後に同じ条件で案内できるか確認する流れを決めます。AIだけで例外の承認や規程の補完を行う前提にはしません。

限界と、導入前に確認すること

今回の結果は、一つの社内データでの探索的な比較です。規程・手順書を使うどの会社でも、同じ候補や回答が得られるとは言えません。代表例5件の回答の一致から、「記録なし」の判断の信頼性や、運用全体の正解率は分かりません。

ここで提案した照合・本文確認・引き継ぎを用意しても、資料の読み取りや条件の解釈、検索対象の更新などで誤りは残り得ます。ハルシネーションをなくせるとは言えません。

読者の会社で試す際の想定シナリオとしては、根拠がある質問に加え、根拠がない質問、別の対象を尋ねる質問、条件が曖昧な質問を用意します。担当者が期待する資料と返し方を決め、検索候補、回答本文、出典、保留時の窓口案内を別々に確認します。検索方式を調整した後は、調整に使っていない別の質問でも確かめる進め方があります。

大切なのは、近い候補を返したことを回答の許可にせず、条件と本文の根拠を確認できない場合の返し方まで決めることです。導入の全体像は社内資料のAIチャットの準備、検索の改善は検索方式の選び方へ進んでください。