データを活用したQA検証の取り組み

こんにちは！QAチームの池田です。

今回は、2023年度でQAチームが行った取り組みについてご紹介します！

QAチームでは、2023年度で2つ目標を掲げ活動をしてきました。そのうちの1つの目標が「機能別の検証密度と優先度の抽出」です。

この目標は、検証漏れによる本番環境での不具合を防止することを主な目的としていました。また、検証実施時の負荷の分散にも考慮し、利用頻度の高い機能の検証密度を高くすることにより効率的に検証を進めていくことを目的としていました。

「機能別の検証密度と優先度の抽出」をするには？

弊社のプロダクト「Classi」には多くの機能があり、それに伴い開発チームも複数存在します。QAメンバーはそれぞれ開発チームに配属されています。

機能により利用頻度の高いユーザー種別やデバイスカテゴリなどが異なりますが、今までそういったデータを活用できていませんでした。そこで、QA観点での検証密度の向上、機能別の優先度を抽出するために、Google Analytics（以下GA）のデータを活用していくことにしました。

まずGAの中からQA検証時に役立ちそうなデータをピックアップしました。具体的には下記データです。

ユーザー種別
PV（ページビュー）数
デバイスカテゴリ
OS
iOSバージョン
Androidバージョン

Google AnalyticsとLooker Studioを連携する

QAチームでは、権限の関係でQAチーム全員がGAにアクセスできるわけではありません。そのためGAでピックアップしたデータを活用しやすいように見える化する必要があります。以前からQAチームでは見える化施策でLooker Studioを活用していたため、Looker Studioで作成された既存のレポートを参考にデータの見える化を進めました。

Looker StudioでGAデータのレポートを作成するにあたり、ただデータをグラフとして出力するだけでなく、実際にQAメンバーが現場で活用できるよう分かりやすく使いやすい内容を意識して作成しました。

例えば、GAのデータのままだと分かりづらい内容を計算式を使って分かりやすいテキストに置き換える作業を行いました。当初ユーザー種別（user_type_id）を表示させようとすると、idがそのまま表示されておりどのユーザー種別なのかが分かりづらい状態でした。そのため、それぞれのidを日本語に置き換える計算式を追加し、誰が見ても分かる表示に変えました。

GAのレポートを実際に自分で活用してみる

GAのレポートを作成した後、具体的にどう活用できるのか自分で試してみることにしました。

当時活用できそうな案件がなかったため、自動テストの運用で活用できないかを考えました。そこで、自動テストで行っているリグレッションテストの内容、範囲の見直しをPV数を基に行いました。

私はプロダクトの中で、「設定・登録」領域を担当しています。設定・登録は学校の先生向けの機能が大半のため、自動テストのシナリオは当時先生の機能しか作成されていませんでした。しかし領域のPV数を参照したところ、常に「/parent_top」が上位に入っていることに気づきました。設定・登録の中で保護者の機能は少ないですが、保護者からのアクセスが多いということが分かりました。

そこで保護者機能の自動テストを作成し、定期実行に追加しました。

レポートを活用することで、リグレッションテストの範囲の拡充を行うことができました。また、自分の担当領域でどの機能、画面が実際にユーザーから使われているのかを把握していなかったため、検証の優先度を考慮していなかったのだと気づきました。

QAメンバーに展開

実際に自分で活用を試した後、QAメンバーに展開するため説明会を行いました。今後各QAメンバーがレポートを活用できるよう、活用がイメージできるような説明と発表資料を準備しました。

そのために、実際に私がレポートを活用して行った取り組みを活用例として紹介しました。

QAメンバーの活用状況

QAメンバーにレポートを展開した数ヶ月後に活用状況ヒアリングのためアンケートを実施しました。

アンケート結果によると、1/3のメンバーが早速レポートを活用してくれていることが分かりました。

活用しているメンバーからは、下記の活用事例が上がりました。

全体のリグレッションテストをする際に、よく見られている画面は細かく、あまり見られていない画面は一通りの機能が触れればOKのように効率よく項目書作成ができた。
OS利用状況の確認を行い、検証対象のOS選定を行った。
PdMやエンジニアから「生徒がどの端末をよく利用しているか知ってますか？」等の相談事項が多々あったので、その際にレポートを見せて利用頻度の高い端末やOSを確認した。

検証の優先度を考えたり、検証端末・OSの選定、さらにはQAチーム以外のメンバーとも連携をとっている活用状況が見えてきました！まさに施策の目的である「機能別の検証密度と優先度の抽出」に沿った活用が進んでいました。

今後の課題

一方で、まだレポートの活用を進められていないメンバーにどう推進していくかという課題もあります。

QAチームでは、テスト項目書作成前に開発メンバーなどと検証についてのすり合わせをする「QAヒアリング」を行っています。 QAヒアリングではそれぞれのQAメンバーが経験値を問わず必要な情報を確認できるよう、テンプレートとして「ヒアリングシート」を用意しています。このヒアリングシートの中にレポートのURLの記載をしました。

こうすることでヒアリング準備、もしくはヒアリング中にレポートの確認、活用の検討ができると期待しています。