はじめまして、freee FastestCustomerSupportチームに所属しています、浅越（あさこし）です。社内ではこっしー/kossyと呼ばれています。特技は身長です。
この記事は freee Developers Advent Calendar の16日目です。
突然ですが、会計freeeではプロダクト内で自動応答システム、いわゆるChatbotなサポートを提供しており、ユーザーの皆様からのお問合せに24時間回答ができるようにしています。 2017年1月に公開してから約1年になり、チャットサポートにお問い合わせいただく数と比較して4割近くの対応が完結できている計算になっています。
freeeのカスタマーサポートチームはユーザー皆様の対応以外にもいろんな分野の業務を担えるように日々取り組んでおり、その一環でこちらの導入や運用も担当をしてきました。今日はその経緯やこれまで感じたところを簡単に振り返ってみます。
ちなみに筆者は非エンジニアで（今回のAdvent Calendarは「freeeのプロダクトに関わるメンバー全般」からお送りしております）、botやAIについての技術的な知見ではなく、運用側の業務でbotに触れている人間からの素朴な思いとして見ていただければ幸いです。
導入まで
freeeはもともとお問合せの受付を主にチャットで行っています。チームが拡大していく中で、それほど顕在化はしていないもののいくつか課題がありました。
例えば会計freeeの場合、サービスの性質上問い合わせ数は月間や年間の業務スケジュールに大きく左右され、季節性が非常に大きいです。特に個人事業主の確定申告が全国的同時発生のイベントなので、サービスの提供側として、繁忙期の準備をうまく行うのが重要になります。
（完全に余談ですが、我々のサービスも税務署も3月頃から混み合い方が普段と雲泥の差ですので、確定申告のご準備はぜひお早めにどうぞ）
他には、ユーザーの属性や質問内容の多様性があります。
会計freeeは日々の業務が不安な初経理の方からベテランの税理士の方まで様々な方にご利用いただいており、お客様ごとに会計の知識やWebサービスへの慣れっぷりなど、属性が様々です。
単純に「なんかうまく入力できないんだけど」の切り分けもあれば、具体的な業務シチュエーションに根付いた質問もあり、ちゃんとそれぞれの方の背景と状況をふまえて回答をお返ししないといけません。
チャットサポートを提供して約4年ほどなのですが（もう結構な老舗ですね）、今後の環境変化も考えると、やはり何かしらの対策は必要になりそうでした。
銀の弾などなかった
このあたりは今までのやり方では対処が難しく、AIのような新しい道具で解決できるならいいよね、というところから検討がスタート（if-then-elseな回答は既存のシステムでもすぐできるので、機械学習のエンジンを利用する前提でした）。
ワクワク感は高かったのですが、実際のところ、検討当初の自動応答テストの結果は結構厳しく、回答内容は歪に偏ったものでした。
原因は振り返って考えれば単純な話で、蓄積されていたデータの下ごしらえがうまくいっていなかったことです。
チャットサポートのログを人工知能の学習に利用しようとしても当然そのまま使えるわけではなく、ちゃんと内容の精査が必要です。
決して重要度を低く見積もっていたわけではないのですが、「まずはすでに定型的に返している質問にちゃんと答えられるように」というところを意識しすぎて、データに偏りがあったのが正直なところでした。
当たり前ですが、手持ちのデータを簡単に突っ込めばどうにかしてくれる魔法のようなやり方は存在せず、理想と現実の両方を眺めて、どう取り組むのが一番ユーザーメリットになるのか？をちゃんと考えないとね、というのが（月並ではありますが）検討の結論でした。
freeeでは「アウトプット→思考」と呼んでいますが、まずは小さくても何か試してみることで思考のスピードや質を上げていこう、という考え方がわりと染み付いていて、ここに辿り着くのが早かったのは収穫だったと思います。
分かりやすいゴールで試す
結果、Chatbotからの回答はあくまで参考情報という位置づけで、質問はユーザーの操作でいつでもオペレーターの対応に切り替えられるようにして導入を行うことになりました。
適切に内容が引き継がれればユーザーにとっての利便性は高まっているわけで、まずは小さく、有用な情報がサジェストできるかどうか、に目標を絞った運用です。
方針が定まった後は検討内容も具体的になり、元々あるリソースの活用もあって準備はスムーズになりました。
例えば、freeeはもともとヘルプページをある程度まとまった情報として整備していたので、割り切ってそこから逆算して回答や想定される質問のベースを作ってしまいました。
「車を買う」というワードから「固定資産の登録」という会計用語が思いつかず、必要な情報にたどりつくまで時間がかかってしまう、という方も多くいらっしゃるわけで、そういう方に情報を提供できるなら一定の価値があるのでは…という意図です。
方向性の変更もあって、最終的にはログをそのまま使うのではなく、想定される質問をもとに学習のタネになるデータを小規模に作ることになり、一定の精度を出してリリースすることができました。
リリース後も継続してチューンナップを行っており、1〜2ヶ月で具体的な人員数換算でも評価ができて、投資対効果はあった、と言えるまでもっていくことができました。
AIは共生相手だな、と思う
幸いにも当初からbotの利用実績はそれなりに多く、すぐに成果に繋がるようになったのですが、個人的には、リリース後に一気に改善がしやすくなったのは大きなメリットだと思っています。
botに投げかけられた質問の具体的な内容や傾向、彼がどういった回答を返しているかは利用されればされるほどつかみやすくなるわけで、それをもとにbotの反応文の取捨選択を行うなど、精度向上の手が打ちやすくなりました。
実際に運用が回りだした後はそれほど時間をかけずにチューニングできた部分も多く（ざっくりではありますが回答の正答率を測定しており、リリースから1年で1.5〜2倍近くになっています）、やっぱり学習の効率がAIの一番の武器なんだ、ということを体感できています。
目の前にあるAIは今のところ魔法使いではなさそうですが、一度教えたことはきっちりこなしてくれますし、長い目で付き合っていけばタフで賢い相棒になるな、と思えるようになりました。
まとめ
別にChatbotの話題に限った話でもないかもしれませんが、「まずは試してみて考える」ということは大事だし、導入の目的やゴールをきちんと整理することは改めて重要だったんだな、と感じる一年でした。
もちろん、現状のfreeeのChatbotでもまだまだ手元で改善すべきところが多くあるので、引き続き頑張っていければと思います。
ちなみに、「人工知能が仕事を奪う」みたいな話題はとっくに世間をひとめぐりしている感もありますが、先は明るいとはいえ特にコミュニケーションの分野ではAIだって限界はあるだろうなと思います。人間との住み分け、人間にしかできないことはちゃんと考えないといけないよな、というのが正直な感想で（freeeが提供するような業務効率化の分野ではいろいろ余地がありそうですが！）、賢くテクノロジーとつきあっていきたいですね。
↑チームを支える人間の皆さんです
さて、freeeではこんな感じで地続きの現実を突破して、一緒に未来に向かって進んでくれるメンバーを募集しています。 カスタマーサポートの分野でももっともっと色んな方に活躍していただければと思いますので、ぜひお気軽に話を聞きにきてみて下さい。お待ちしてます。
明日は、縦横無尽のデータ分析力他、マルチなスキルでfreeeのプロダクト改善を一手に引き受ける、PMチームのfuji_tipさんです。お楽しみに！
