AIの答えは、誰が答え合わせをするのか——即答は残したまま、間違いに気づける形にした話

AIに社内の質問を答えさせる仕組みを作ったとき、最初に決めたのは「誰が答え合わせをするか」でした。

作る前は、そこが論点になるとは思っていませんでした。ちゃんと答えられるかどうかが問題だと思っていたからです。

実際に動かしてみると、違いました。**AIは、間違っているときも同じ調子で答えます。**自信のなさが文面に出ません。

私たちは建設会社で、この半年ほどは社内で使うAIツールを自分たちで作って回してきました。今回は、AIに答えさせる仕組みを入れるとき、品質をどう保つかという話です。

即答は価値ですが、そのまま流すと怖い

質問して、その場で答えが返ってくる。これは単純に速いです。担当者が席にいなくても進みます。

ただ、返ってきた答えが正しいかどうかは、聞いた人には分かりません。分からない人が聞いているから、AIに聞いているのです。

ここが、社内資料の下書きをAIに作らせるのとは違うところでした。下書きなら、書いた人が読んで直します。でも質問への回答は、聞いた人がそのまま信じて動きます。

事前に人を挟むと、速さが消えます

最初に考えたのは、人が確認してから返す形です。安全ではあります。

でも、それだと即答の意味がなくなります。担当者が見るまで返事が来ないなら、これまでと変わりません。むしろAIの分だけ手間が増えます。

そこで、順番を変えました。

答えは先に返す。人は後から全部読む。

回答は即座に出ます。そして、出た回答は一つ残らず担当者の画面に並びます。担当者はそれを読んで、おかしいものがあれば印を付ける。印が付いたものは、直す仕事として起票されます。

間違いをゼロにする作りではありません。間違いに必ず気づける作りです。

しばらく動かして分かったこと——直すのは回答ではなかった

やってみて意外だったのは、直す先です。

同じ質問で、同じように間違える。これが何度か起きました。最初は答え方の指示を直そうとしたのですが、原因はそこではありませんでした。

元にしている社内の資料が、古かったのです。

料金の説明が前の内容のままだった。手順書に、もう使っていない画面の名前が残っていた。AIは、渡された資料を素直に読んで答えていただけでした。

これは、人に置き換えると分かりやすい話です。新しく入った社員に古いマニュアルを渡して、間違った案内をしたと叱っても仕方ありません。

だから、検収で見つかった間違いは、たいてい資料を直す仕事になりました。AIの答えを直すのではなく、AIが読んでいる資料を直す。結果として、人が見ても分かりやすい資料が残っていきます。

似た話はChatGPTが「出面」を理解しないにも書きました。渡すものを整えると、答えが変わります。

経営側の仕事が、作業から検収に変わりました

これは自分でも面白かったところです。

以前は、私が書いていました。文章も、説明も、確認の返事も。今は、出てきたものを読んで、これはいい・これは直す、と決める側に回っています。

作業の時間は減りました。そのぶん増えたのは、何をやるかを考える時間です。

正直に書くと、検収も楽ではありません。読む量は多いですし、判断がいります。ただ、ゼロから書くのとは疲れ方が違います。判断は続けられますが、作文はそんなに続きません。

このあたりは議事録AIの記事で書いた「どこまで任せて、どこで人が決めるか」と地続きの話です。

答え合わせを機械にやらせるなら、その機械も確かめる

答え合わせの一部を機械に任せることもあります。ただ、ここで一度つまずきました。

チェックする側の仕組みを作って、すぐ調べたい物そのものへ向けたところ、正しいものまで「おかしい」と出たんです。原因は調べている対象ではなく、こちらの作り方の方にありました。しかも赤が出ると「見つかった」と思ってしまうので、疑う気持ちが働きにくいんですよね。

いまは、新しく作ったらまず自分が正しいと知っているものを通します。正しいと知っているのに赤が出たら、その時点で仕組みの側が間違っている。新しい測定器を、寸法の分かっているところで一度測ってから現場へ持ち込むのと同じことです。

もう一つ、外れが多いときに条件を細かくしていく方向は、あまり効きませんでした。人は外れの多い警報にすぐ慣れます。三回目くらいから、赤い表示を見ても手が止まらなくなる。出す量を減らす方が先でした。

答え合わせをする人を決めても、その人が使う道具が外れを出し続けたら、結局は見なくなります。人と道具は、同じ一つの仕組みとして見ておいた方がよさそうです。

建設会社で同じことをするなら

現場からの問い合わせにAIが答える形は、これから増えると思います。「あの資材の発注先は」「この書類の提出先は」といった、担当者が毎回聞かれている質問です。

入れる前に、三つだけ決めておくと安全です。

**一つ目、答え合わせをする人を決める。**部署ではなく、人です。誰の仕事でもない状態にすると、誰も見ません。

**二つ目、後から全部読める形にしておく。**質問と回答が残らない作りだと、間違いが起きたことにすら気づけません。ここは、後から足すより最初に入れておく方が簡単です。

**三つ目、間違えても大きな害が出ない範囲から始める。**社内の案内から入るのが無難です。金額や、対外的な回答は後回しでいいと思います。失敗しても誰も困らないところから始める、という考え方は変わりません。

よくある質問

Q. 全部読むのは大変ではないですか。

A. 件数によります。1日に数十件までなら、まとめて目を通す程度で足ります。増えてきたら、最初だけ全部読んで、傾向がつかめたら抜き取りに切り替えれば十分です。肝心なのは読める形にしておくこと。読まない選択は後からできますが、記録がなければ読むことはできません。

Q. AIが間違えたら、誰の責任になりますか。

A. 答えを出したのがAIでも、動いたのは会社です。「AIが言ったので」は、社内でも社外でも通りません。だから見返せる形が要ります。道具を入れる前に、一度話しておいた方がよい論点です。

Q. 間違いが多くて使い物にならない場合は。

A. 渡している資料の方を先に疑ってください。うちは原因の大半がそちらでした。

答え合わせの担当を決めてから、入れてください

AIに答えさせる仕組みは、入れること自体はそれほど難しくありません。難しいのは、その後です。

出てきた答えを誰が読むのか。おかしかったとき、どこを直すのか。この二つを決めずに入れると、便利そうな道具が一つ増えて、誰も責任を持たない状態になります。

逆に言えば、この二つさえ決まっていれば、始めてしまってよいと思っています。完璧な答えを出す道具を待つより、間違いに気づける形で走らせた方が、結果的に早く良くなります。

このテーマの記事はまとめ：社員とAI、ChatGPTの使い方、AIの担当者に読む順番で並べています。

---

まず全体像を知りたい方は建設会社のAI導入 30分説明会へ。自社で始めるときの進め方を個別に相談したい方は無料相談をご利用ください。AI顧問が何をする仕事かはこちらにまとめています。