テスト管理ツール「TestRail」にはレポート機能が搭載されており、レポートの生成、スケジューリング、共有、および電子メール送信ができます。あらかじめ用意されているレポートテンプレートを使って簡単にレポートを作成することができます。

本記事では、TestRailのレポート機能の活用術として、テスト結果を比較するレポートの作成についてご紹介します。

テスト結果の比較をするケース

ソフトウェア開発プロジェクトでは、テスト結果を比較する場面が数多く存在します。具体的な場面をいくつか挙げてみましょう。

バージョンアップに伴うテスト結果の比較

新機能が追加されたり、既存のバグが修正されたりすると、その都度新たなバージョンがリリースされます。そうした場合、新旧のバージョンでテスト結果に違いが出ていないか確認する必要があります。これは、新機能が既存の機能に影響を及ぼしていないか、バグ修正が他の部分に副作用を起こしていないか、つまり、デグレードしていないかをチェックするための重要な作業です。新旧バージョンのテスト結果を比較することで、デグレードを早期に発見し、品質を維持・向上させることができます。

異なる環境でのテスト結果の比較

ソフトウェアは、さまざまなデバイスやOS、ブラウザで使用されます。そのため、それぞれの環境で同じ動作をするかどうか、テストを行い結果を比較することが求められます。例えば、スマートフォンのAndroidとiOSでの動作、またはPCのWindowsとMacでの動作を比較することが考えられます。さらには、同一OSでもブラウザが異なると表示や動作が変わることもありますので、Chrome、Firefox、Safariなどでのテスト結果を比較することも重要になります。これにより、製品の互換性を確保し、多様なユーザー環境に対応できることを保証できます。

TestRailでは、レポート機能を使って上記のようにテスト結果同士を比較することができます。具体的にどのようなレポートをどうやって作成するのか説明します。

バージョンが異なるテスト結果（テストラン）を比較するレポート

出力されるレポートの例

「ケースの(結果)」のテンプレートを利用すると、下の図のようにバージョンごと（バージョンごとに作成したテストランごと）のテスト結果の棒グラフと、集計されたテスト結果の詳細情報が記載されたレポートを作成できます。（※こちらからレポートのPDFを参照できます。）

棒グラフでは、テストランごとにテスト結果が集計され、さらにステータスごとに色分けされます。バージョンごとのテスト結果の差異を簡単に比較できます。また、グラフで集計されたテスト結果は、グラフの下の表でも確認できます。

さらに、下の図のように「比較とカバレッジ」の箇所では、テスト結果がテストラン（バージョン）ごとにグループ化して表示されます。

各テスト結果を横に並べて比較できるため、結果の差異を確認しやすくなります。例えば、下の図の例では、IDがC26のテストはAlpha版、Beta版では失敗していますが、Release1.0では成功しています。一方、IDがC27のテストはAlpha版、Beta版では成功していますが、Release1.0では失敗していて、デグレードが発生している可能性があることがわかります。

各テストのタイトルは、テストケースの詳細画面へのリンクになっているため、気になるテストがあれば、リンク先で詳細を確認できます。

複数のテストランのテスト結果を比較するため、テストランの作り方によって様々な条件でテスト結果を比較できます。

レポートの作成方法

作成手順を説明します。

１．該当プロジェクトの「レポート」画面の右下にある、「結果」の「ケースの比較」をクリック

２．レポートの名前、説明、オプションの設定

• 名前
  • デフォルトで「ケースの比較(結果)」の文字列と変数（%data%）を使った今日の日付が入ります。必要に応じて変更します。
• 説明
  • 必要に応じてレポートの内容が分かるような説明を記入します。空のままでも問題ありません。

オプションは2つのタブに分かれています。まずは「テストスイートとラン」のタブで、集計に含めるテストを選択します。

• テストスイートを選択してください
  • 該当のテストランが含まれるテストスイートを選択します。
• 次のテスト結果を含める
  • 「次のテストランのみ」を選択し、「テストランの追加」ボタンをクリックして比較対象に含めたいすべてのテストランを選択します。

次に、「テストケース」タブで、選択したテストに対する設定を追加します。

• 次の列を含める
  • テストの情報を示すテーブルに含める列を選択します。デフォルトの列には ID とタイトルが含まれます。表示したい情報に応じて、(テスト) タイプ、優先度などの列を追加できます。
• 次も表示
  • 「選択されたテスト ラン/結果ごとのテスト結果(比較)」にチェックを入れます。「選択されたテストランの最新/集約されたテスト 結果(ステータス)」にもチェックを入れると、テストランの中の最新の結果を表示します。

３．「アクセスとスケジュール」を設定し、「レポートの追加」をクリック

アクセスとスケジュールの設定の詳細については、マニュアルをご確認ください。設定が完了したら、「レポートの追加」ボタンをクリックするとレポートを作成できます。

環境の異なるテスト結果（テストラン）を比較するレポート

出力されるレポートの例

「ケースの比較(結果)」のテンプレートでは複数のテストランを比較するため、テストランの作り方によって様々な条件でテスト結果を比較できます。例えば、以下のように、環境（ここではブラウザー）の異なるテスト結果を比較することもできます。（※こちらからレポートのPDFを参照できます。）

棒グラフでブラウザ別のテスト結果の傾向を確認したり、下の図のように詳細のテスト結果を確認して、特定のブラウザのみ失敗しているテストがないかなどを確認するのに役立ちます。

まとめ

TestRailのレポート機能の活用術として、テスト結果の比較についてご紹介しました。例えば、バージョンごとのテスト結果を比較することでデグレードが発生していないか確認したり、ブラウザごとのテスト結果を比較することで互換性を維持できているか確認したりすることができます。テンプレートを利用することで、時間をかけずにレポートを作成できます。

様々な条件でテスト結果を比較して、今後のテスト活動に役立ててみてください。

関連する製品

テスト管理ツール TestRail

テストケースの管理やテスト結果の記録、チームでの情報共有など、Excelを使ったテスト管理の業務に限界を感じていませんか？TestRailはシンプルで使いやすいUIを提供し、テストにかかるさまざまな管理コストの削減に貢献します。

■ TestRailの特長 ■

• テストにさまざまな情報を関連づけて一元管理
• Webブラウザー上でテストケースを簡単に入力や編集可能
• テスト実施の準備と結果の共有が容易
• 進捗や比較などのレポートを提供
• 要件 / 課題管理ツールやテスト自動化ツールと連携

日本国内では、テスト管理にExcelを使っていたお客さまからの乗り換えが多く、Web上で完結するテスト管理を実現されています。

TestRail でテスト管理のお悩みを解決しませんか？