freee Tech Night「ボットがユーザーに逆質問!?LLMで創るカスタマーサポートの未来」に参加してきた

こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。

LLMを活用して短期間で開発したChatBotの開発舞台裏を語ってくれるイベントです。

最初に誤った選択肢を選んでしまうとその後延々と質問をしても正しい答えにたどり着かなかったり、そもそも自分がうまくいっていないときに何に悩んでいるのかすらよくわからないという課題があったそうです。

ChatGPTが話題になったタイミングで既にこのような構想はあったそうで、まずは社内のオペレーター向けにChatBotを作っていたそうです。
これが割とうまくいったこともあって、確定申告前に社外向けのChatBotも作ろうと思い至り、急ピッチで開発をしたということでした。

また、問い合わせを受けていく中で、「データが消えました」とかだけ言われてしまうと困ってしまうよね、という話からChatBotで逆質問するという発想は生み出されたそうです。

最初は手探りで情報もほとんどなかったそうですが、

の3点を実行したということでした。

ログを見ると、最後に「ありがとうございました」と打ち込んで解決している様子が見られたのはこれまでにないことだったので、手応えを感じたということでした。

なお、ユーザーのチャット離脱率を計測したときに、チャットに行き着くまでに一手間かかるタイミングで離脱率が高かったので、文言を考え込んだり、ChatBotを使わないと時間がかかるので待ってみませんか？という話を入れたりすることで、離脱率が大幅に減ったそうです。

ただし、ChatBotは全ユーザーに導入しているわけではなく、A/Bテストを活用しているということなので、一部ユーザーのみこのChatBotが使えるようにしているというお話でした。

AI側では、ナレッジを溜めるための方法として、RAGではなくエージェント単位で知識を持たせるということを今後考えているということでした。

アプリケーション側では、例えばエラーメッセージといったfreee内で持っているデータをより活用していくのと、最終的に人に引き継ぐ際に、どういうことをしたけれど解決できなかったのか？という部分を引き継げるようにしているということです。

教科書的な部分をしっかり実行されているなあという印象でしたし、拘る点/拘らない点をはっきりと分けられているのがすごく良いなあと思いました。

ChatBotに関してはかなりLLMを利用したものが増えてきて、正直使いにくさを感じるようなものもあったりするのですが、話を聴いているとすごい使いたくなるようなChatBotで、その点も素晴らしかったです。

天の月