AI相談の検索改善を採用するには？改善・悪化・時間の比較

検索の改善を採用するかは、よくなった質問の数だけで決めず、悪くなった（押し出された）質問と、遅くなった時間を同じ表に並べて判断します。評価の前に採用の基準を決め、結果を見た後で基準を変えないことが大切です。

hirostaが社内で開発している、学習記録を扱うAI相談の試作では、正解の行が取れた数が増えた一方、別の質問が押し出され、検索時間も延びました。この記事では、試作で測ったことと、記録上の判断、自社の業務で比べるための提案を分けて説明します。

評価の前に、採用する条件を決める

よくなった質問が増えても、必要な質問で資料が取れなくなれば、採用を保留する理由になります。 まず、今回の改善で何を満たしたいか、どの悪化を許容しないか、検索の待ち時間をどこまで許容するかを決めます。以下は、自社で比較するための提案です。

結果を見てから「この質問は重要ではない」「この遅さならよい」と基準を緩めると、採用したい変更に都合のよい評価になります。業務上の理由で基準を変える必要が出たら、理由を残し、次の比較の前に決め直します。以前の結果を、初めから新しい基準で合格したものとして扱いません。

hirostaが社内で開発している、学習記録を扱うAI相談では、2026-10-10に検索の改善を試作しました。 探索的な試作で、本番の仕組みは変えていません。

45問の評価で、正解の行が取れた数は、正解の行39を対象として記録されています。次の表では、記録にある数え方と表記をそのまま示します。よくなった質問の数や割合を、この値から新たに算出していません。

「37→36/39」は記録の書き方のままです。この表記から、集計の内訳や処理の順序を推測して補いません。また、検索時間の中央値は、回答全体の時間ではありません。

実際のAI回答での評価（回答の質の評価）は未実施です。 この表から「回答が正確になった」「業務で使えることを確認した」とは言えません。他社の資料でも同じ結果になることを示す数値でもありません。

新しい質問では、改善の仕組みが探す範囲を誤って狭める例がありました。そのため、「確信がなければ範囲を広げる」という基準を、評価の前に固定しました。 これは試作記録にある判断です。

この基準を固定したことと、実際の回答の質を確認したことは別です。今回の記録には回答の質の評価がないため、この記事では本番への採用が完了したとは扱いません。

自社の業務に当てはめるなら、改善で探す範囲を絞った際に、必要な資料を除いてしまわないかも確認します。判断に確信がない場合の扱いを先に決め、結果に合わせて変えないようにします。これは読者への提案であり、今回の試作で業務運用まで確かめた結果ではありません。

以下は架空の、未実施の想定シナリオです。実際の質問文や記録は使っていません。

ある会社で、社内規程を探すAI相談の検索を改善するとします。架空の質問「出張の申請はどの規程を見ればよいですか」と「例外の申請先はどこですか」を比較対象に入れます。

評価の前に、通常の手順だけでなく例外の申請先も見つかること、検索時間が業務上の許容範囲に収まることを条件にします。変更前後の結果を同じ表に並べ、質問ごとに資料の該当箇所が取れたか、悪化があったか、検索にかかった時間を残します。

通常の手順を探せる質問が増えても、例外の申請先が見つからなくなったなら、先に決めた条件に沿って採用を保留します。検索の比較を通過した場合も、実際の回答が資料に沿っているかは別に確認します。これは判断の例であり、そのような出力を実測した報告ではありません。

採用を検討するときは、比較表と事前の基準を照合し、満たした条件・悪化した質問・未評価の範囲を残します。検索の集計だけで未評価の回答品質まで合格にせず、必要な確認が残る場合は保留や再評価にします。

検索方式そのものの違いは検索方式の比較記事、回答全体と工程ごとの時間の区切り方は時間測定の記事で説明しています。資料に答えがない場合は「記録なし」の確認工程も参考にしてください。これらの別の集計や観測結果を、今回の45問の結果に足し合わせません。

導入全体の整理はAI業務改善ガイド、支援範囲はサービス・料金をご覧ください。無料相談では、秘密情報や資料の中身を添付する前に、検索で困る場面と、切り替えの判断に足りない情報をお伝えください。