人力でリアルタイムにSNSの声を把握するのが難しかった

―SNS監視ツール「Oreo」を導入したきっかけを教えてください。

山口氏：
私たちは『共闘ことばRPG コトダマン』というスマートフォンアプリを運用しているのですが、ゲームの公式Xやプロデューサー個人のアカウントに対して、サービスの不具合に関するご意見を頂くケースが多々ありました。

＜『共闘ことばRPG コトダマン』とは・・・＞
スマートフォンで遊べる「ことば」で闘う新感覚RPGです。文字の精霊「コトダマン」を組み合わせて「ことば」をつくり、ステージクリアを目指します。つくった「ことば」の長さや数で敵に与えるダメージが変化し、最大4人で協力しながら遊ぶマルチプレイでは、友だちや家族とワイワイ盛り上がりながら、それぞれの知識を出し合って「ことば」づくりを楽しむことが可能です。
生き物、食べ物、地名、歴史上の人物から、流行のあの「ことば」まで、29万語以上に対応。「ことば」は日々追加しており、無限に楽しみが広がる、究極のことば遊びゲームです。

そういったお声やXの監視運用は、各担当者がそれぞれチェックしていたものの、人力ではどうしても見逃してしまったり、リアルタイムに把握することが難しかったりする課題がありました。とはいえ、不具合に関するポストは公式フォームの「お問い合わせ」より即時性が高く、決して見過ごせない情報であることは間違いありません。

そのような状況で、事業部内でX上の反応を不具合検知に活かすことができないかと声が上がり、私の方で担当することとなりました。そこで、自分が求める機能の詳細を資料にまとめて、複数の会社に問い合わせました。

―X上の不具合情報を自動監視するツールとして、どんな機能を求めたのですか？

山口氏：
Xには大小様々な情報が溢れていますが、それらをAIが適切にフィルタリングし、必要な情報のみ普段業務に使用しているSlackになるべくリアルタイムに投稿してくれるというツールを探していました。難しいリクエストではありますけども、それに対して「できますよ」と返事をくれたのは、AIQVE ONEさんだけでしたね。

そこから仕様の詳細を詰めたり、実装して運用したりと、二人三脚で理想とするツールをゼロから作り上げていきました。費用感を含め、しっかり希望とするシステムを作って頂けましたし、それが業務で実際に走り出して、サービス向上に役立っていると実感した時は、凄く嬉しかったです。

これまで大変だったX検索が、「Oreo」実装後に一変した

―希望する監視ツールが世の中に無かったから、AIQVE ONEと一緒に「Oreo」を構築していったのですね。具体的にどのような運用をされているのでしょうか。

山口氏：
監視ツールがXをクロールし、取得したデータにスコア付けを行います。その中からスコアが高いもの、つまり不具合検知に繋がりそうなものがSlackに自動投稿され、我々がチェックするという形を取っています。

田中氏：
特にメンテナンス直後って、メンバーは皆バタバタしていて。でも一番、不具合が起きやすいタイミングでもあります。そんな時、これまではXチェックが大変でしたけど、「Oreo」導入後はSlackを見るだけで、必要な不具合情報がキャッチアップできるようになりました。

山口氏：
人力はとにかく大変で、見落としがちですよね。

―大切な情報をAIが見つけてくれるのは、凄く便利ですね！しかし、不具合報告が自動で流れてくるって、ある意味プレッシャーというか、ストレスになることはありませんか？

田中氏：
「Oreo」から上がってくる報告は、既に我々も検知している場合も多いですし、そこまでは…（笑）。むしろチーム全体で「不具合に対応しよう」という文化があるので、そういった報告が多いとQAチームが責められるみたいなことは無いです。

山口氏：
“根本解決”を大事にしていますから、不具合報告はとても貴重です。運営が長いタイトルだからこそ、中には気付きにくいバグが潜んでいるともあります。そういった見つけづらい不具合さえ、話が大きくなる前に素早く対処できるようになりました。

「Oreo」の導入でバグを早期に発見！

―「Oreo」導入によって、当初の課題は解決しましたか？

山口氏：
そうですね、不具合検知は本当に上手く回っています。月に何件かは「Oreo」の投稿からバグを見つけることがあり、再現確認から修正まで行います。「そんな所に…」といったマイナーなバグや、見た目的にはバグなのか分かりづらいため、問い合わせには来ないようなものもありました。

田中氏：
QAを見ている私からの視点としても、本番環境で起きている不具合について、監視ツールはしっかり拾えていると感じます。もちろん見逃してしまうポストはあるでしょうけど、AIの精度は凄く高いです。

山口氏：
Xの情報は即時性があり、問い合わせよりも先に投稿されることが多いんですね。私たちも「Oreo」で不具合報告に繋がる情報を見つけたのち、同様の内容が届いていないか問い合わせをチェックすることもあります。

―ユーザー視点で見ても、お問い合わせフォームから問い合わせるより、Xに投稿するほうが気軽ですよね。

山口氏：
ええ。問い合わせをせず、つぶやいて終わるパターンもあるでしょうから。一方、Xは問い合わせと比較して情報が足りなく、深掘りが難しいという側面はあります。とはいえ、事象を先取りできるメリットは大きく、非常に役立っています。

田中氏：
表面化していなかったバグを、ユーザーさんのポストから見つけることもあります。これは本当にありがたいですよ。