AIQVE ONE株式会社のテストを導入していただいた企業のご担当者にお話を聞く事例紹介インタビューをご紹介します。
Oreoの導入でバグを早期に発見！
AIQVE ONEだけが
理想とする監視ツールを
ゼロから作り上げてくれた
人気スマートフォンアプリ『共闘ことばRPG コトダマン』の開発・運営を担当する株式会社MIXIを訪問。その運用を務める山口氏と田中氏にお話を伺いました。
お取引概要
当初の課題
インタビューイー
チームの組織マネジメントや告知関連などのオペレーション業務を担当。
・田中氏/QAチーム リーダー（写真左）
ゲームのクオリティをチェックするQAを担当。
「こんなツールが欲しい！」という問い合わせに応じてくれたのは、AIQVE ONEだけだった
ーAIQVE ONEのツイート監視ツール「Oreo」を導入したきっかけを教えてください。
山口氏：私たちは『共闘ことばRPG コトダマン』というスマートフォンアプリを運用しているのですが、ゲームの公式Twitterやプロデューサー個人のアカウントに対して、サービスの不具合に関するご意見を頂くケースが多々ありました。
スマートフォンで遊べる「ことば」で闘う新感覚RPGです。文字の精霊「コトダマン」を組み合わせて「ことば」をつくり、ステージクリアを目指します。つくった「ことば」の長さや数で敵に与えるダメージが変化し、最大4人で協力しながら遊ぶマルチプレイでは、友だちや家族とワイワイ盛り上がりながら、それぞれの知識を出し合って「ことば」づくりを楽しむことが可能です。
生き物、食べ物、地名、歴史上の人物から、流行のあの「ことば」まで、29万語以上に対応。「ことば」は日々追加しており、無限に楽しみが広がる、究極のことば遊びゲームです。
そういったお声やTwitterの監視運用は、各担当者がそれぞれチェックしていたものの、人力ではどうしても見逃してしまったり、リアルタイムに把握することが難しかったりする課題がありました。とはいえ、不具合に関するツイートは公式フォームの「お問い合わせ」より即時性が高く、決して見過ごせない情報であることは間違いありません。
そのような状況で、事業部内でTwitter上の反応を不具合検知に活かすことができないかと声が上がり、私の方で担当することとなりました。そこで、自分が求める機能の詳細を資料にまとめて、複数の会社に問い合わせました。
ーTwitter上の不具合情報を自動監視するツールとして、どんな機能を求めたのですか？
山口氏：Twitterには大小様々な情報が溢れていますが、それらをAIが適切にフィルタリングし、必要な情報のみ普段業務に使用しているSlackになるべくリアルタイムに投稿してくれるというツールを探していました。難しいリクエストではありますけども、それに対して「できますよ」と返事をくれたのは、AIQVE ONEさんだけでしたね。
そこから仕様の詳細を詰めたり、実装して運用したりと、二人三脚で理想とするツールをゼロから作り上げていきました。費用感を含め、しっかり希望とするシステムを作って頂けましたし、それが業務で実際に走り出して、サービス向上に役立っていると実感した時は、凄く嬉しかったです。
これまで大変だったTwitter検索が、「Oreo」実装後に一変した
ー希望する監視ツールが世の中に無かったから、AIQVE ONEと一緒に「Oreo」を構築していったのですね。具体的にどのような運用をされているのでしょうか。
山口氏：監視ツールがTwitterをクロールし、取得したデータにスコア付けを行います。その中からスコアが高いもの、つまり不具合検知に繋がりそうなものがSlackに自動投稿され、我々がチェックするという形を取っています。
田中氏：特にメンテナンス直後って、メンバーは皆バタバタしていて。でも一番、不具合が起きやすいタイミングでもあります。そんな時、これまではTwitterチェックが大変でしたけど、「Oreo」導入後はSlackを見るだけで、必要な不具合情報がキャッチアップできるようになりました。
山口氏：人力はとにかく大変で、見落としがちですよね。
ー大切な情報をAIが見つけてくれるのは、凄く便利ですね！しかし、不具合報告が自動で流れてくるって、ある意味プレッシャーというか、ストレスになることはありませんか？
田中氏：「Oreo」から上がってくる報告は、既に我々も検知している場合も多いですし、そこまでは…（笑）。むしろチーム全体で「不具合に対応しよう」という文化があるので、そういった報告が多いとQAチームが責められるみたいなことは無いです。
山口氏：“根本解決”を大事にしていますから、不具合報告はとても貴重です。運営が長いタイトルだからこそ、中には気付きにくいバグが潜んでいるともあります。そういった見つけづらい不具合さえ、話が大きくなる前に素早く対処できるようになりました。
「Oreo」の導入でバグを早期に発見！
ー「Oreo」導入によって、当初の課題は解決しましたか？
山口氏：そうですね、不具合検知は本当に上手く回っています。月に何件かは「Oreo」の投稿からバグを見つけることがあり、再現確認から修正まで行います。「そんな所に…」といったマイナーなバグや、見た目的にはバグなのか分かりづらいため、問い合わせには来ないようなものもありました。
田中氏：QAを見ている私からの視点としても、本番環境で起きている不具合について、監視ツールはしっかり拾えていると感じます。もちろん見逃してしまうツイートはあるでしょうけど、AIの精度は凄く高いです。
山口氏：Twitterの情報は即時性があり、問い合わせよりも先に投稿されることが多いんですね。私たちも「Oreo」で不具合報告に繋がる情報を見つけたのち、同様の内容が届いていないか問い合わせをチェックすることもあります。
ーユーザー視点で見ても、お問い合わせフォームから問い合わせるより、Twitterに投稿するほうが気軽ですよね。
山口氏：ええ。問い合わせをせず、つぶやいて終わるパターンもあるでしょうから。一方、Twitterは問い合わせと比較して情報が足りなく、深掘りが難しいという側面はあります。とはいえ、事象を先取りできるメリットは大きく、非常に役立っています。
田中氏：表面化していなかったバグを、ユーザーさんのツイートから見つけることもあります。これは本当にありがたいですよ。
ゲームに限らず、Twitterには改善のヒントがいっぱいある
ー「Oreo」に今後期待したいことを教えてください。
山口氏：当初私達が想定していた期待通りのツールを作っていただいたと思っています。データがより見やすくなるよう、アップデートもして頂いてます。今後の要望としては、「Oreo」が拾ってきたデータに対して、私たちが「いいね」マークのようなリアクションを付けてフィードバックを返すことで、よりAIの精度が上がっていく機能などがあると良いですね。
田中氏：AIの精度は高いと感じますが、もう少し上がるとより安心できるなという点はありますね。あとは、Twitter上の不具合報告がどれくらい拡散されているか分かる指標があると嬉しいです。
ー確かにそうですね、検討します。
山口氏:Twitterから自動的に不具合検知できるツールはなかなか無いので私たちのようなゲームサービスだけじゃなく、ほとんどのweb系アプリにも活用できるんじゃないでしょうか。
田中氏：そうですね、ゲームに限らず役立ちますし、特に日頃の業務にチャットツールを活用している企業と相性が良いと思います。ユーザーさんのリアルな意見が集まるTwitterには、開発者側が気付けない、役立つフィードバックがたくさんあります。そういった点に気付くことができるという点でも、「Oreo」はとてもオススメです。
※Twitter上での不具合監視はおこなっておりますが、不具合のご報告はゲーム内の「お問い合わせ」から情報をご提供いただきますよう、ご協力をお願いいたします。
ツイート監視ツール「Oreo」サービスサイト：https://oreo-aiqveone.net/
AIQVE ONEが提供を行っている、ゲームの不具合やサービスに対する感想・意見等のツイートを自動で収集し、AIが分析レポート作成までを行うツイート監視ツール「Oreo」
現在無料トライアル実施中となります。Twitterでのバグ検出や情報収集にお悩みの方はぜひご覧ください。