～使われないチャットボットでは困る！～
回答精度を向上させる継続的な改善のサイクルとは
働き方の変化に伴う生活スタイルの多様化や技術的進歩により、顧客接点の窓口は、電話、メール、ホームページ、チャットボットと複雑化しています。最近のコンタクトセンターでは、顧客接点の窓口として、顧客から得られる情報を収集、分析する役割も期待されるようになりました 。今回は、チャットボットの活用と可能性についてご紹介していきます。
- チャットボットにできること
- チャットボットの種類（シナリオ型/自然文検索）
- 導入後はメンテナンスがポイント！
- PDCAサイクルの回し方
- エーアイスクエアにできること
- まとめ
１．チャットボットにできること
企業のホームページなどで普通に見かけるようになった自動回答チャットボットですが、どんなことができるのでしょうか。弊社製品をご導入いただいている企業様の利用例をご紹介します。
- 商品やサービスの問い合わせ窓口
- 人事総務など管理部門への社内問い合わせ窓口
- 社内ナレッジのデータベース検索やグループ会社共通基盤
例えば、回答にたどり着くまで条件を絞り込むタイプの問合せは、シナリオ型と呼ばれるチャットボットを中心に構成されています。一方で、自由に質問文を打ち込み、AIが回答するタイプのチャットボットを自然文検索型と言います。
２．チャットボットの種類
チャットボットには、シナリオ型と自然文検索型の2種類があります。エーアイスクエアのチャットボット「QuickQA」は、この両方の機能を搭載しています。この２つについて、詳しくご紹介していきます。
①シナリオ型
ユーザーが疑問に思うことに一番近い選択肢を押下していくことで回答にたどり着く方法です。あらかじめ登録されている、階層構造（ツリー構造）になったシナリオに沿って回答にどんどん近づけていきます。選択肢をポチポチ押していくだけで答えに近づくため、ユーザーにとっては楽な検索方法です。導入前に回答を用意する際、ユーザーの疑問やその種類などを質問から回答まで想定し、適切な階層構造を設計する必要があります。
②自然文検索型
ユーザーが自身で文章を打つと、いわゆるAIがそれを認識して回答を表示します。入力された言葉の揺らぎも吸収するため、ユーザーは自由な文章で幅広い検索を行うことができます。事前に登録された質問と回答を活用し、ユーザーの質問からAIが求められる答えを導き出す仕組みです。
３．導入後はメンテナンスがポイント！
実は、いざチャットボットの運用が開始されたらそれと同時に問題解決！となるのは稀なケースです。いくら詳細なFAQを準備しても、運用が開始されると想定外の質問や言い回しは必ず出てきます。また、チャットボットを放置しておくと、徐々に期待していた効果が得られにくくなり、回答率の低下にもつながります。安定した運用のためには、定期的な分析とメンテナンスがポイントになります。メンテナンスのスパンは、チャットボットの運用開始時は頻回に行い、安定してきたら定期的なサイクルを回すのが理想です。
- よくある失敗例（よくぶつかる課題）
- 導入したものの、実際どのくらい使われているか分からない
- メンテナンスに時間を割けず、徐々に回答精度が下がってきてしまった
４．PDCAサイクルの回し方
定期的な分析とメンテナンスとは、具体的にどんなことをしたらよいのでしょうか。具体的には、回答精度向上に向けたPDCAサイクルを常に回していくことです。
【利用】 →【分析】 → 【検討】 → 【設定】
以下で、一つずつ詳しくご紹介していきます。
- 利用
ユーザーがチャットボットで問合せを行うと、利用者のログ（履歴）がシステムに記録されます。 - 分析
チャットボットの利用ログから、問合せ傾向や検索精度を調査し、課題を特定します。問い合わせ傾向で把握するのは、どのような質問がされるのか・利用者の利用頻度・問い合わせが多い時間帯、といった点です。検索精度は、ユーザーが回答までたどり着けたか否かで表します。こういった情報から、どうしたら更にチャットボットの活用に繋がるか、課題を探ります。 - 検討
②分析により出てきた課題に対して、それを解決するために必要な学習データを検討します。 - 設定
③の検討内容に従って、回答精度や利用数の低いQAに対して学習データの追加修正を行います。管理画面で管理者自身が修正する方法と、業者に委託する方法があります。
このように、AIに頼り切るのではなく人の手でPDCAサイクルを回すことは、利用者の満足度を向上させるのみならず、例えばイタズラで入れられた文章など、不必要な学習による精度低下を防ぐことにも繋がります。AIは管理者が育てていくものだと考えると愛着が湧いてくるといったご意見を伺うこともあります。
５．エーアイスクエアにできること
エーアイスクエアでは、質問の傾向把握、シナリオ精査、回答精度向上へ繋げるため、蓄積されたログデータを分析するサービスをご提供しています。上記だと「②分析」「③検討」と、ご希望によって「④設定」のお手伝いが可能です。
＜分析の目的＞
- お問合せの傾向や需要が高いQAを確認
- ユーザーのつまずきや離脱がないか確認
- 自由入力の利用状況から回答の精度や新しい需要を把握
以上のような分析を基に、修正案のご提案も行っております。ご利用の頻度は定期、不定期の両方があります。次に、現在定期的にご利用いただいている場合の事例をご紹介します。
＜事例紹介＞
事例①約４万人の利用者を対象としたA社様
毎月の利用数をユーザーの導線ごとに集計しました。例えば、入力〇件、ヒット〇件、解決した〇件、解決しなかった〇件といった形です。そこで見えてきたのは、ユーザーの聞きたいことに対する回答の学習データ登録が不十分である、という点でした。
そこで、弊社で利用ログを分析し、その時点で登録されていなかったQAをご提案、お客様ご自身による定期的な登録作業を実施していただきました。その結果、回答精度が半年で10％向上し、ユーザーの「知りたい」に応えることができました。
このように短いサイクルでPDCAを回すことで、状況やニーズの変化に即対応できるようになり、取りこぼしを防ぐことが出来ます。また、一年を通して月ごとの傾向把握し、時期ごとの対策を講じることでより高精度な回答へ繋がります。
事例②BtoCの問い合わせサポートをチャットボット化したB社様
背景として、チャットボットを導入して3年以上経過したものの、改善に工数が割けずに検索精度が低下していました。ヒットしないQAに対して各担当者が学習データを大量に追加していた事も、検索精度を低下させる要因のひとつでした。
そこで、下記２点の対策を行いました。
- 表現の平均化：登録されている学習データの件数や利用されている単語の特長を分析しました。その結果判明した不要な学習データを削除し、利用者が入力したQ（検索文）に対して、より正確なA（答え）にたどり着けるよう単語表現の調整を行いました。
- マニュアル化：検索精度低下の原因と対策をマニュアル化し、お客様ご自身で運用できるようにノウハウをご提供しました。
結果として、過去ヒットしなかったQAのうち40％がヒットするようになり、継続的に学習データの見直しが行えるようになりました。
６．まとめ
ここまで、チャットボット活用のためには、導入したらそのままにしておくのではなく、メンテナンスをして育てていく重要性をご紹介してきました。チャットボットを導入したものの、利用数が伸びない、だんだん減ってきた、もっとデータを活用したいといったご相談があれば、是非一度、ホームページのお問い合わせフォームよりご連絡ください。
