社内のAI相談で検索方式を比べ、改善の順序を決めた

導入前の課題・業務フロー

AIが記録をもとに答えるには、質問に合う記録を検索候補に含める必要があります。言い換えに対応するために検索方式を増やすべきか、今の検索を改善するべきかを、候補の一致と回答の正しさを分けて判断することが課題でした。

実施内容

2026年10月10日の探索的な比較では、期待する記録がある154問と、存在しない記録や対象違いを尋ねる20問の計174問を使いました。主集計は、日付の曖昧な46問を除いた108問です。同じ質問でキーワード検索（BM25）とベクトル検索（E5・Ruri・MiniLM）の併用を比べ、期待する記録が検索候補の上位5件に入るかを数えました。記録がない場合の候補と、実際のAI回答も別に確認しました。

比較から決めた改善の順序

• まず記録の単位で検索し、キーワード検索と正しい資料への案内を改善する。
• IDや日付の厳密な照合と、候補の本文で「記録なし」を判断する工程を重視する。
• ベクトル検索は補助として扱い、別の質問で追加評価する。今回の比較だけで本番の方式は変更しない。

導入後の変化・成果

2026年10月10日の比較（同日取得）では、主集計の108問で上位5件に期待する記録が入った割合は、キーワード検索が84.3%、E5併用が82.4%でした。併用によって必要な記録が押し下がる例もあり、まず今の検索を改善する方針にしました。検索候補の一致を数えた結果で、回答の正解率や本番での改善効果ではありません。

成果の確認条件・根拠：比較・取得日は2026年10月10日、対象期間は同日の検証です。割合の分母は、期待する記録がある質問から日付の曖昧な質問を除いた108問で、期待する記録が検索候補の上位5件に入った質問の割合を数えています。AI回答の正解率や、お客様の導入効果を示す数字ではありません。以下の記録なしの候補と回答の確認も同日の検証で、検索候補の有無と、回答の主な事実・参照元の一致をそれぞれ確認したものです。比較の詳細は関連する記事で説明しています。

使った技術

キーワード検索（BM25）、ベクトル検索（E5・Ruri・MiniLM）。検索候補を比べるために使った方式です。今回の結果からモデル全般の優劣は判断していません。

AIと人の役割

導入時に苦労した点

• 同日の、存在しない記録や対象違いを尋ねる20問では、ベクトル検索だけだと全問で何かしら近い候補を返しました。候補があることを記録が存在する証拠にせず、ID・日付の照合と本文の確認が必要です。全問でAIが誤回答したという結果ではありません。
• 主集計の108問は互いに独立ではありません。同じ記録や似た問いの影響があり得るため、割合の差だけで一般的な優劣は断定できません。除外した日付の曖昧な質問への対応も、この集計では評価していません。
• 実際のAI回答5件では、主な事実と参照元が記録と一致しました。同日の代表例について回答と記録を照合した結果で、回答全体の正解率を示すものではありません。

導入後に分かったこと

• 候補を増やすだけでは、必要な記録を上位に残せるとは限りませんでした。併用で見つかる質問だけでなく、今まで見つかっていた記録が押し下がる場合も見る必要があります。
• 意味が近い記録と、質問の条件に合う記録は別です。検索候補の一致、記録の有無、回答の根拠を分けて確認することが、次の改善を決める手掛かりになりました。

同様の取り組みが向いている条件

• 質問ごとに期待する記録を決め、検索候補と照合できる社内のAI相談。
• 番号・日付・対象の違いを確認でき、根拠がなければ回答を控えるか人へ戻す方針を決められる業務。
• 本番を変える前に検索方式を比較し、調整に使っていない質問でも追加評価できる取り組み。

補足

自社での探索的な比較から整理した判断と条件です。本番の仕組みは変更しておらず、導入後の効果を測った事例ではありません。ほかの資料でも同じ結果になることや、時間・費用の削減を保証するものではありません。