
イベント・セミナー
【CEDEC2024レポート】生成AIを活用したゲーム開発効率化
ゲームの魅力をどのように評価し、改善するべき課題を見つけるのか―その答えの一つが、「ユーザーレビュー」の活用です。現代のゲーム開発において、バグがないだけでは不十分で、魅力的な品質が伴って初めて、ユーザーの満足度につながります。
ユーザーレビューは、ゲームの魅力や品質を「見える化」する強力なツールとなります。しかし、それを効果的に活用するためには、適切な方法論と考え方が求められます。
2024年8月に開催されたCEDEC2024では、AIQVE ONE株式会社 杉山 博康により「過去300件以上の評価実績を通じて分かった、ゲームの魅力的品質向上のためのユーザーレビューの重要性とポイントを解説」と題した講演が行われました。この記事では、本講演内容を基に、ユーザーレビューの重要性と活用方法を解説します。
「バグが0だけど面白くないゲーム」
「バグが多少あるけど面白いゲーム」
-ユーザーはどちらを選びたいでしょうか?
その答えは明白で、ゲームをプレイする目的が「楽しむこと」である以上、たとえバグが多少あっても、「面白いゲーム」が選ばれる傾向にあると考えられます。
「(ゲームは)やはり面白くなければいけない」と杉山氏は強調しました。
製品として最低限求められる品質を、「あたりまえ品質」と呼びます。ゲームの場合、「あたりまえ品質」とは、「バグが少ないこと」や「致命的なバグがないこと」に該当し、デバッグを通して改善が可能です。
一方、「感動や満足感を与える要素」を「魅力的品質」と呼びます。ゲームは娯楽作品なので、魅力的品質が求められる比重が非常に高いと言えます。
「ユーザーレビューによって、魅力的品質を向上させることができる」と杉山氏は強調しています。具体的には、ユーザー視点でゲームの魅力や不満点を評価することで、魅力的品質の向上が図られ、最終的には「面白いゲーム」の制作に結びつくと指摘しました。
それでは「面白いゲーム」とはどのようなものなのでしょうか。
講演では「面白いゲームに仕上がっても、それだけでは不十分」であり、「面白さがユーザーに伝わる」ことが重要であることが強調されました。たとえば無料で遊べるスマホゲームなどでは、ユーザーが最初の30分で面白さに気付かなければ離脱されてしまいます。
さらに、アニメを原作とする「IP作品のゲーム」では特に、「面白さがユーザーに伝わる」だけではなく、「IPファンが望むゲームであること」が重要になり、「ファンの体験を拡大させるものが望まれる」と杉山氏は言います。
ファンが求める体験を拡大させるには、彼らが「どのような体験をしたいか」を理解することが重要です。
講演では、「面白いゲーム」の条件を考える上で重要なポイントとして、具体的な事例をいくつか挙げて解説しています。
実際の事例ですが、プロレスのゲーム制作において調査を行ったところ、期待されていたジャンルは僅差で「団体経営シミュレーション」が最も支持を得ました。この調査では「どんなゲームで遊びたいか」「プロレスの魅力は何か」といった質問をしたところ、多くの回答に「受けの美学」「長期展開されるストーリー」「観客との一体感」といった要素が挙げられました。
この調査結果から、ファンとのギャップを埋めるためには、ファンが「なぜその対象を好きになったのか」を理解することが鍵であることが示されました。この考え方は他のIP作品にも共通して見られるものです。
続いて、架空のアニメ原作ゲーム『ツボ乙女』の例が紹介されました。『ツボ乙女』は、女子高生5人が陶芸にハマっていく日常を描いた人気アニメで、このアニメの影響で陶芸に興味を持つ「ツボ女子」が増えたと想定されています。
ツボ乙女の劇場版公開に合わせてゲーム化が行われ、当時流行していたオーソドックスなカードバトル形式でリリースされました。
その結果、一部のコアファンには受け入れられたものの、アニメ視聴者層の取り込みには失敗し、わずか半年でサービスが終了しました。ユーザーが求める体験がゲームに反映されておらず、陶芸の楽しさやキャラクターの魅力が失われたことが失敗の要因と考えられます。
杉山氏によると、「ツボ乙女はあくまで架空のタイトルだが、これまでIP作品に携わってきた中で、同様の事例は数多く見てきた」とのことです。
「ゲーム開発にあたりユーザーレビューを行っていれば、よりニーズに合ったゲームシステムを採用できた可能性がある」と指摘しています。
では、ユーザーレビューはいつ実施すればいいのでしょうか。
杉山氏によれば、「ユーザーレビューはプロジェクトのあらゆるフェイズで活用可能」です。ただし、レビューの目的によって最適なタイミングが異なるため、プロジェクトの進行状況に応じて適切な段階で行うことが必要です。
先ほどの架空タイトル『ツボ乙女』を例にとると、β版の段階で評価を行うのは遅すぎると考えられます。このタイミングでは、ゲームシステムを大幅に見直すのは現実的に不可能だからです。
少なくとも企画段階で、どのようなゲームシステムが適しているかについてユーザーレビューを通じて検討すべきでした。さらに言えば、プロジェクトの始動準備段階でユーザーレビューを実施できていれば、IPファンがどのような人々で何を求めているのかを正確に把握でき、より良い結果につながった可能性があります。
杉山氏は「調査結果を何に利用するのか、何のために行うのかによって、ユーザーレビューを実施する最適なタイミングが自然と決まる」と述べています。
例として、以下のようなタイミングが考えられます。
プロジェクト始動・企画フェイズ: IPファンのニーズ調査
ファーストプレイアブル:ゲームの根幹的な面白さの評価
α版フェイズ: ゲームサイクルの評価
β版フェイズ: ゲームバランスの評価
Final版フェイズ:PRで訴求するポイントの検討
リリース後: 長期運営の離脱要因分析
ユーザーレビューの調査手法は、大きく分けて定量調査と定性調査の2種類があります。定量調査は、アンケートなどを用いて統計的な分析を行う手法です。一方で定性調査は、インタビューやディスカッションなどの言語情報を用いて実施する手法を指します。
定量調査のメリットとして、「具体的な数値を示すことで説得力を持たせられる点」が挙げられます。主観や感情によるものの評価には、定量調査が適しています。
たとえばキャラクターデザインについて「どれが良いと思うか」という感性に関わる質問では、専門家同士の議論だけでは結論が出にくい場合があります。このようなケースでは、ターゲットとなるユーザーを集めて「どのデザインが好みか」を聞くことで、信頼性のある数値が得られるため、定量調査の強みが発揮されます
一方で、定量調査にはいくつかのデメリットもあります。まず、調査対象者が増えるほどコストが上がる点が課題です。また、調査対象とするペルソナによって結果が大きく変わるため、適切な対象者を選定することが重要です。そのほか、選択肢の提示方法によって回答が誘導されるリスクがあるため、設問設計には注意が必要です。
定量調査についてよく聞かれる質問の一つに、「調査対象者は何人集めればよいか」があるそうです。統計的な分析の観点からは、数百人から千人以上の規模が望ましいとされていますが、それに比例してコストも増加してしまいます。
杉山氏の経験では、「20人から50人程度の規模で行うことが多い」とのことです。この規模では統計的な信頼性に限界があるものの、工夫次第で十分な方向性を見出すことが可能です。小人数での調査を成立させる秘訣としては、統計分析だけに頼るのではなく、回答理由などの定性的な分析を加味することが重要です。
続いて、定量調査を実施する際のポイントと注意点について解説します。
定量調査では、調査対象者によって結果が大きく異なるため、ペルソナの設定が非常に重要です。基本的には、ターゲット外の人の意見は「ノイズ」となりかねないため、ターゲット層に合致する人をペルソナに設定するのが望ましいとされます。
また、批判的な態度をとる人や真面目に答えない人も結果に影響を与えます。たとえば、ポイントサイトで募集した対象者はポイント目的で回答する傾向があるため、注意が必要です。こうした人々を事前に選別するのは難しいため、調査結果の分析時に加味する必要があります。
ペルソナ設定の手法としては、縦軸と横軸で属性を分ける方法が一般的です。スライド例では、縦軸に課金の程度、横軸にIPファンの度合いを設定しています。ただし、課金程度やファン度合いといった抽象的な基準は境界が曖昧になることがあります。その場合、中間層をあえて省く方法も有効です。
たとえば、「廃課金者(重課金者)でなければ絶対勝てないゲーム」では、ターゲットである重課金者をペルソナにすべきとのことです。もし微課金者をペルソナに設定すると、「重課金者に全く勝てない」という不満が出る可能性が高く、ターゲット層のニーズを外してしまいます。
定量調査では設問作成にも注意が必要です。
誘導的な表現や、複数の質問が混在している設問、解釈が分かれるような設問は避けるべきです。また、回答の選択肢が網羅されていない、選択基準が不明瞭な場合も問題となります。
たとえば、「5点満点で評価してください」という設問は、人によって基準が曖昧になるため避けるべきです。また、「A案・B案・選べない」という選択肢では、「選べない」の理由が曖昧であるため、回答結果の解釈が難しくなります。
講演では、「選択肢を偶数にする方法」が提案されました。たとえば、①は「絶対に遊びたい」、④は「もう二度と遊びたくない」という明確な基準を設け、中間の②と③は「どちらかというと遊ぶ/遊ばない」と設定することで、評価を良い・悪いに分けやすくなります。
個別の質問で高評価を得た場合でも、全体評価が低くなることがあります。個別の評価と全体評価が一致しなかった場合、以下の可能性があります。
・個別はたまたま評価が高い項目に集中していた
・個別と全体で評価基準が異なっていた
こうしたギャップが生じる場合もあるため、全体的なバランスに注意する必要があります。
調査では、回答者の記憶が上書きされるケースもあります。たとえば、ゲームの初動でチュートリアルが不十分なため不満が上がったとしても、最後のアンケートでは「初動に問題はなかった」と回答されることがあります。これは、プレイ体験の後半で良い印象を受けたため、初動の印象が上書きされてしまったと考えられます。
そのため、初動の印象が残っている段階でアンケートを行うことが有効です。
定量調査の結果を分析する際に重要なのは、「回答理由を鵜呑みにせず、中身をしっかりと見ること」だと杉山氏は強調しています。
たとえば、「最高レアのガチャ排出率が渋すぎる」という意見が多く寄せられたとします。この場合、注意すべき点は、調査が短期間で行われることが多いため、回答者がガチャを大量に回しているわけではないということです。
このような設問では偏りが出るのは当然で、運が良い人もいれば悪い人もいるため、「ガチャ排出率が渋すぎる」という回答をそのまま受け入れて排出率を上げてしまうと、キャラクターの希少性が失われるなど、逆効果を招く可能性があります。
杉山氏は、「結局、ユーザーにとって喜ばしくない状態になる。これは非常によくあるパターンだ」と指摘しています。
また、「ボスが強すぎる」という一見ネガティブな意見も、実はやりがいを求めるコアゲーマーからの誉め言葉だったというケースもあるのです。
このように、定量調査の分析では、表面的な回答にとらわれず、背景や意図を慎重に読み解くことが求められます。
少人数を対象とした定量調査では、単純に数字の割合だけで統計学的な判断をするのは難しいため、以下のような定性的な分析を組み合わせることが有効です。
回答内容の背景や理由を深掘りすることで、単なる数字以上の意味を引き出します。
個々の回答者の特徴や傾向を把握します。
たとえば、Bさんが厳しい評価をする傾向がある中で唯一褒めたポイントがあれば、それが「本当に良い」と感じた部分である可能性が高いと考えられます。
また、調査は一度実施すると後戻りできません。選択肢の細分化や重要な質問の抜けが後悔につながるケースが多いため、事前の設計が大切です。
定性調査の強みは、調査対象を深掘りすることで、より具体的で実践的な改善提案が可能になる点にあります。また、少人数・小規模で実施できるため、コストパフォーマンスが良い点もメリットとして挙げられます。
一方でデメリットして、小規模で行うため、レビューする方やモデレータ、司会進行のスキルに結果が大きく左右される点が挙げられます。また、キャラクターの好みなど、個人の主観に関わる評価には適さない場合があります。
定性調査には、大きく分けてグループインタビュー・グループディスカッションの2種類があります。
グループインタビューは、異なるペルソナを持つモニター(例:年齢、性別、ゲームの嗜好や課金状況が異なる人々)を集めて実施します。この形式では、モデレータが進行役となり、質問をしながら意見を引き出します。
場合によっては、参加者にゲームをその場でプレイしてもらいながらインタビューを進める方法も可能です。杉山氏によると「インタビューで話を聞くよりも、実際にプレイしている様子を観察する方が参考になるという開発者もいる」とのことです。
一方、グループディスカッションは、専門的な知識を持つレビュワーを対象に行われる形式です。この場合、参加者がペルソナに一致する必要はありません。むしろ、異なる視点を持つ参加者が集まり、「女性ユーザーならどう感じるか」「カジュアルゲーマーの場合はどうか」「自由課金者ならどう考えるか」など、様々なケースを想定しながら議論を行います。
議論を通じて評価を深め、具体的な改善提案を導き出せる点がグループディスカッションの強みです。この形式では、議論の結果を統一見解としてまとめ、最終的にレポートとして仕上げることがゴールとなります。
次に定性調査を実施する際のポイントについて解説していきます。
グループインタビューでは、モデレータの役割が非常に重要です。対象者の中には、自分の考えをうまく言語化できない人や、論理的に話せない人もいます。そのような場合、モデレータが「つまり、こういうことですね」と話をまとめることで、有効な回答を引き出せる可能性があります。また、他の参加者の意見を聞いたうえで「あなたはどう思いますか」と尋ねることで、新たな視点を引き出す方法も効果的です。
事前準備も欠かせません。あらかじめインタビューシナリオを作成し、何をどのような流れで聞くかを決めておきます。ただし、現場では予定外の質問をする必要が生じることもあります。そのため、必ず聞くべき事項と、それ以外を仕分けておくことが重要です。
事前アンケートを実施し、その結果をもとにインタビューを進める方法も、スムーズなインタビューの進行につながります。
また、グループ構成も重要なポイントです。同じ意見を持つ参加者でグループを組む方法や、あえて対立する意見を持つ人々を集めて議論を促す方法があります。それぞれの構成によって得られる洞察が異なるため、目的に応じた構成を検討する必要があります。
グループディスカッションでは、ゲームのコンセプトやターゲットを踏まえた議論が求められます。制約のない自由な議論ではまとまりに欠けることが多いため、「このゲームのコンセプトはこうで、ユーザーにはこうしてほしい」という指針を共有することで、議論を進めやすくなります。
さらに、様々なユーザーを想定した多面的な視点での議論や、実際のユースケースを踏まえた検討が重要です。
グループディスカッションにおいて課題を探る手法は、次の2種類があります。
個別の「気になる要素」からスタートし、その要素が全体にどのような影響を与えるかを想像していきます。
2.森を見て木を想像
全体的な感覚からスタートし、そこから具体的な要因を探ります。
例:プレイ中に面倒くさいと感じた理由を深掘りする
どちらの手法も有効であり、両方を組み合わせることでより多角的な洞察を得ることができます。
改善案を導き出す手法も2種類あります。
まず課題を特定し、それに基づいて改善案を考えるオーソドックスな手法です。
先に「こうなったらいい」という要望や改善案を挙げ、その理由や背景を探る方法です。この方法では、意外な課題やユーザーが感じている不満点を発見できることがあります。
「定性調査では、まず結論を出すことが重要。そして評価軸に一貫性を持たせる必要がある」と杉山氏は強調しています。
・評価の一貫性
様々なペルソナを想定して多面的に検討することは大切ですが、評価時には一貫性が求められます。たとえば、「このゲームはこういったユーザーに遊んでもらいたい」という前提に基づき、一貫した基準で評価を進めないと、調査の信頼性が損なわれる恐れがあります。
・温度感(危機感)が伝わる表現
評価結果を表現する際には、温度感や危機感が伝わるよう工夫することが重要です。杉山氏は「厳しい評価をやんわり書いた結果、危機感が伝わらず後悔したことがある」と語っています。正確かつ率直な表現が求められます。
・ユーザー視点での評価
調査担当者は、批評家や開発者ではなく、あくまでユーザーのひとりとして評価する姿勢が求められます。ユーザー視点であれば、開発に踏み込みすぎず、率直な意見を伝えることが可能です。
例:「開発としては良いと思っているかもしれませんが、ユーザーには伝わっていません。」
評価そのものを目的とするのではなく、評価を通じてより良いゲームを作ることが最も重要です。
・スコア評価の基準を決める
質問で選択肢を設定する際、各選択肢の意味を明確に定義し、それをレポートの読者が理解できるようにすることが重要です。
たとえば、A~Eの選択肢がある場合:
このように、各選択肢が何を意味するのかをあらかじめ明示することで、調査結果が正確に解釈され、適切な改善案に繋げることができます。
A~Eの5段階評価を用いた調査では、「オールCは良い評価か悪い評価か」と聞かれることがよくあります。杉山氏によれば、スマホゲームが登場して間もない頃であれば、「まあまあ良い」と捉えられていたそうです。
しかし、現在では状況が変わっています。C評価は競合タイトルと比較した場合、ユーザーの継続プレイを確保するには不十分とされます。杉山氏は、「C評価では現在の市場競争において厳しい状況と結論付けられる」と述べています。
このことから、評価基準を時代や市場の状況に応じて再評価することが重要です。
ゲーム開発において、バグを減らすだけでは不十分であり、ユーザーの満足度につながる「魅力的品質」の向上には、ユーザーレビューの実施が欠かせません。レビューのタイミングや方法、設問の設計を工夫することで、プロジェクト全体の完成度を大きく引き上げることができます。
また、ゲームの魅力を最大化し、ユーザー体験を向上させるためには、レビュー結果を単に数値や意見として捉えるのではなく、背景や意図を深く読み解く姿勢が求められます。本講演で得られた知識を活かし、次世代のゲーム開発に取り組むヒントとしていただければ幸いです。
FunQA/ユーザーテスト サービス詳細:https://www.aiqveone.co.jp/test/funqa/
イベント・セミナー
【CEDEC2024レポート】生成AIを活用したゲーム開発効率化
イベント・セミナー
【東京ゲームショウ2024】今年はスマートフォンゲームコーナーにも初出展
イベント・セミナー
【GTMF2024レポート】開発者も知っておくべきモバイルゲームアプリのセキュリティ
イベント・セミナー
【CEDEC2023講演】「品質管理に、革命を。」の本当のところ。これから興るゲームQAの破壊的技術。汎用エージェントの取り組み
イベント・セミナー
【ログミーTech掲載】パネルディスカッション「QA自動化とAI活用~未来のテストを考えてみる~」
イベント・セミナー
【QA Tech Nightレポート】これからのゲームQA人材の育成~パネルディスカッション~【後編】
イベント・セミナー
【QA Tech Nightレポート】これからのゲームQA人材の育成~パネルディスカッション~【前編】
イベント・セミナー
【ログミーTech掲載】 「AIのアートはほんものか? 〜AIと品質保証と作業効率化の超未来〜」(モリカトロン株式会社 森川氏)
イベント・セミナー
【QA Tech Nightレポート】ゲーム開発・テスト・運用へのAI・ボットの活用 ~マイクロソフトのゲーム開発スタジオの事例~
イベント・セミナー
【QA Tech Nightレポート】”ゲームをAIでテスト”のホントのところ。 ~ゲーム開発を強力にサポートする自動プレイテストAI 『Playable!』の野望~
イベント・セミナー
【テクバン×MIXI×AIQVE ONE 3社共催セミナーレポート】TIPSTARの自動化~泣いて笑って捲られて~
イベント・セミナー
【テクバン×MIXI×AIQVE ONE 3社共催セミナーレポート】テスト自動化でフリーテストを実現することはできるのか?(AIQVE ONE株式会社 花房)