去年の秋、我が社のチャットボットを劇的に改善しようと意気込んでいた私。当時、よく質問に答えられず、ユーザーから「なんでこんなトンチンカンな返事するの？」という苦情が月に30件以上。これはAI業界で流行のRAG（検索生成型AI）を導入すれば、一発で解決すると確信していました。
RAGの仕組みは至ってシンプル。社内ドキュメント全部をAIに読ませて、質問が来たら関連資料を自動検索して、その情報をもとに回答させる。つまり、AIの知識を常に最新に保てるし、デタラメな回答も減るはず。完璧じゃないか、と思いました。
いざ導入してみると…ひどいことになりました。
まず最初の問題は、データの投入方法。我が社には営業資料、マニュアル、FAQ、メールのやり取りなど、形式がバラバラな資料が5000ファイル以上ありました。これを全部ぶっこんだんです。脳内イメージでは「豊富な情報源」だと思ってたんですが、実際は「情報の沼」。古い資料と新しい資料が混在していて、AIが検索する際に「5年前の廃止されたサービス情報」を見つけて、平気でそれを根拠に答えるようになりました。
ユーザーは混乱。「この機能はもう廃止されてます」と何度も指摘されました。
次に痛感したのは、関連性判定の甘さ。質問を入力すると、AIが資料から「関連する」と思った部分を引き出すわけですが、その判定がズレてました。ある利用者が「料金はいくらですか？」と聞いたら、AIは「料金表」ではなく「採用情報」の給与欄を参考にして、「月給25万円からです」と真顔で回答。これはシュールでした。
試行錯誤の結果、わかったのは「データの質」がすべてだってこと。古い資料は削除し、重要な情報には優先度をタグ付けし、ドキュメントの説明文もAIが理解しやすいように工夫する必要がありました。その作業に実は3か月かかりました。
最終的に、プロセスをきちんと整備したら、ようやくRAGらしい力を発揮しましたよ。今は月の苦情が5件まで減りました。
要するに、「便利なツール」と「ちゃんと整備された環境」は別物。楽をしようとして、余計な手間をかけた3か月間でした。