テスト管理ツール「TestRail」にはレポート機能が搭載されており、あらかじめ用意されているレポートテンプレートでレポートの出力、スケジューリング、共有、および電子メール送信ができます。
本記事では、TestRailのレポート機能の活用術として、欠陥レポートの使い分けについてご紹介します。
欠陥レポートとは
TestRailでは、テストで見つかったソフトウェアの不具合や問題点を「欠陥」として、テスト情報に紐づけて管理することができます。具体的には、テスト結果の追加画面で、「欠陥」フィールドに不具合管理ツールに記録された不具合のIDを入力するか、「プッシュ」機能を使ってTestRailの画面上で不具合管理ツールに不具合を記録します。例えば下の図では、不具合管理ツールに記録されたIDが42の不具合をテスト結果に紐づく欠陥として記録しています。
報告した欠陥は、欠陥レポートを利用するとテスト情報との関連性を可視化して管理できるため便利です。欠陥レポートには以下の3種類のテンプレートがあります。
- ケースのサマリー
- テストケースが、どの欠陥と紐づいているのかを確認できます。
- サマリー
- 不具合管理ツールに登録された欠陥が、どのテストで報告されたのか確認できます。
- 参照のサマリー
- 要件（参照）が、どの欠陥と紐づいているのかを確認できます。
それぞれのレポートの利用シーンと出力内容、出力方法を説明していきます。
ケースのサマリー
利用シーンと出力されるレポートの例
「ケースのサマリー」のテンプレートは、テストケースがどの欠陥と紐づいているのかや、どのテストケースで欠陥が発生したかを確認したいときに利用します。下の図のようなレポートを出力できます。（※こちらからレポートのPDFを参照できます。）
棒グラフでは、テストランごとに欠陥が集計されます。例えばブラウザ別でテストランを作成した場合は、ブラウザごとの欠陥の数の差を簡単に比較できます。
さらに、下の図のように「比較とサマリー」の箇所では、各テストケースにどの欠陥が紐づいているのかを一覧で確認できます。例えば、「C1」のテストでは「ブラウザーテスト（Firefox）」のテストランで#27の欠陥が報告されていることがわかります。欠陥のIDの前には、テスト結果のステータス色も表示されるため、欠陥の登録とともにテスト結果をどのステータスで登録したのかがわかります。また、テストケース「C1」、「C3」で報告された欠陥は特定のブラウザのみで発生していますが、テストケース「C2」で報告された欠陥#42はすべてのブラウザで発生していることがわかります。
各テストのタイトルは、テストケースの詳細画面へのリンクに、各欠陥のIDは、不具合管理ツールの該当の欠陥へのリンクになっているため、リンク先で欠陥の詳細を確認できます。
レポートの出力方法
１．該当プロジェクトの「レポート」画面の右下にある、「欠陥」の「ケースのサマリー」をクリック
２．レポートの名前、説明の設定
- 名前
- デフォルトで「ケースのサマリー(欠陥)」の文字列と変数（%data%）を使った今日の日付が入ります。必要に応じて変更します。
- 説明
- 必要に応じてレポートの内容が分かるような説明を記入します。空のままでも問題ありません。
３．レポートオプションの設定
オプションは2つのタブに分かれています。まずは「テストスイートとラン」のタブで、集計に含めるテストを選択します。
- テストスイートを選択してください
- レポートに出力するテストスイートを選択します。
- 次のテスト結果を含める
- 「次のテストランのみ」を選択し、「テストランの追加」ボタンをクリックして欠陥レポートを出力したいすべてのテストランを選択します。
次に、「テストケース」タブで、選択したテストに対する設定を追加します。
- 次の列を含める
- テストと欠陥の情報を示すテーブルに含める列を選択します。デフォルトの列には ID とタイトルが含まれます。表示したい情報に応じて、(テスト) タイプ、優先度などの列を追加できます。
- 次も表示
- 「選択されたテスト ラン/結果ごとのテスト結果(比較)」にチェックを入れます。「選択されたテストランの最新/集約されたテスト 結果(ステータス)」にもチェックを入れると、テストランの中で最新のテスト結果とテストケースに紐づくすべての欠陥を表示します。
４．「アクセスとスケジュール」を設定し、「レポートの追加」をクリック
アクセスとスケジュールの設定の詳細については、マニュアルをご確認ください。設定が完了したら、「レポートの追加」ボタンをクリックするとレポートを出力できます。
サマリー
利用シーンと出力されるレポートの例
「サマリー」のテンプレートは、特定の欠陥がどのテストで報告されたかを確認したい時や、特定の欠陥を修正する際に、どのテストが関連しているかを把握したい時に利用します。下の図のようなレポートを出力できます。（※こちらからレポートのPDFを参照できます。）
棒グラフでは、テストランごとに欠陥が集計され、さらにテスト結果のステータスごとに色分けされます。例えばブラウザ別でテストランを作成した場合は、ブラウザごとの欠陥の数の差を簡単に比較できます。
「欠陥」の箇所では、各欠陥がどのテストに紐づいているのかを確認できます。下の図では欠陥#1はT3166のテストと紐づいていることがわかります。また、欠陥#2は3つのテストに紐づいていて、広範囲に影響を与えている欠陥であることがわかります。複数のテストで発生している欠陥は、システムにとって重大な影響を与える可能性が高いため、修正の優先順位を上げる等の判断にも役立ちます。
レポートの出力方法
１．該当プロジェクトの「レポート」画面の右下にある、「欠陥」の「サマリー」をクリック
２．レポートの名前、説明の設定
「ケースのサマリー」のテンプレートと同じようにレポートの必要に応じてレポートの名前と説明を入力します。
３．レポートオプションの設定
オプションは3つのタブに分かれています。まずは「欠陥」のタブで、集計に含める欠陥を選択します。基本的には「すべての欠陥」を選択します。特定の欠陥のみレポートに出力したい場合は、「次の欠陥のみ」を選択して欠陥のIDを入力します。
次に、「テストスイートとラン」タブで、選択したテストに対する設定を追加します。
- 次のテストスイートを含める
- 「次のテストスイートのみ」を選択し、レポートに出力したい欠陥を含むテストスイートを選択します。
- 次のテスト結果も含める
- 「次のテストランのみ」を選択し、「テストランの追加」ボタンをクリックして欠陥レポートを出力したいすべてのテストランを選択します。
最後に、「テスト」タブで選択したテストに対する設定を追加します。
- 次の列を含める
- 「ケースのサマリー」テンプレートと同じように、テストと欠陥の情報を示すテーブルに含める列を選択します。例えば「テスト担当者」を追加すると、出力された欠陥を誰が報告したのかも併せて確認できます。
４．「アクセスとスケジュール」を設定し、「レポートの追加」をクリック
アクセスとスケジュールの設定の詳細については、マニュアルをご確認ください。設定が完了したら、「レポートの追加」ボタンをクリックするとレポートを出力できます。
参照のサマリー
利用シーンと出力されるレポートの例
TestRailではテストケースの「参照」フィールドに要件管理ツールのチケット等のIDを入力することで、テストケースと要件の紐づけができます。 「参照のサマリー」のテンプレートは、要件がどのテストケースや欠陥と紐づいているのかを確認したい時に利用します。下の図のようなレポートを出力できます。（※こちらからレポートのPDFを参照できます。）
棒グラフでは、テストランごとに欠陥が集計されます。例えばブラウザ別でテストランを作成した場合は、ブラウザごとの欠陥の数の差を簡単に比較できます。
「参照と欠陥」の箇所では、各要件（参照）がどのテストに紐づいていて、テストでどの欠陥が報告されたのかを確認できます。下の図では参照#1はC96とC173の2つのテストケースと紐づいていて、さらに#23、#28、#16の3つの欠陥が報告されていることがわかります。また、そのほかの要件（参照）と比べても参照#1には欠陥が集中していることがわかります。欠陥が集中している場合は、要件が複雑すぎたり、仕様が不明確であった可能性が考えられます。
レポートの出力方法
１．該当プロジェクトの「レポート」画面の右下にある、「欠陥」の「参照のサマリー」をクリック
２．レポートの名前、説明の設定
「ケースのサマリー」のテンプレートと同じようにレポートの必要に応じてレポートの名前と説明を入力します。
３．レポートオプションの設定
オプションは3つのタブに分かれています。まずは「参照」のタブで、集計に含める欠陥を選択します。基本的には「すべての参照」を選択します。特定の参照のみレポートに出力したい場合は、「次の参照のみ」を選択して参照のIDを入力します。
次に、「テストスイートとラン」タブで、集計に含めるテストを選択します。
- 次のテストスイートを含める
- 「次のテストスイートのみ」を選択し、レポートに出力したい参照を含むテストスイートを選択します。
- 次のテスト結果も含める
- 「次のテストランのみ」を選択し、「テストランの追加」ボタンをクリックして欠陥レポートを出力したいすべてのテストランを選択します。
最後に、「テストケース」タブで選択したテストに対する設定を追加します。
- 次の列を含める
- 「ケースのサマリー」テンプレートと同じように、テストと欠陥の情報を示すテーブルに含める列を選択します。デフォルトの列には ID とタイトルが含まれます。表示したい情報に応じて、(テスト) タイプ、優先度などの列を追加できます。
- 次も表示
- 「選択されたテスト ラン/結果ごとのテスト結果(比較)」にチェックを入れます。「選択されたテストランの最新/集約されたテスト 結果(ステータス)」にもチェックを入れると、テストランの中で最新のテスト結果とテストケースに紐づくすべての欠陥を表示します。
４．「アクセスとスケジュール」を設定し、「レポートの追加」をクリック
アクセスとスケジュールの設定の詳細については、マニュアルをご確認ください。設定が完了したら、「レポートの追加」ボタンをクリックするとレポートを出力できます。
まとめ
TestRailの欠陥レポートの使い分けについてご紹介しました。3つのテンプレートがあり、テスト情報と欠陥の関連性を可視化することができます。見たい情報にあわせてレポートを出力して、今後のテスト活動に役立ててみてください。
関連する製品
テスト管理ツール TestRail
テストケースの管理やテスト結果の記録、チームでの情報共有など、Excelを使ったテスト管理の業務に限界を感じていませんか？TestRailはシンプルで使いやすいUIを提供し、テストにかかるさまざまな管理コストの削減に貢献します。
■ TestRailの特長 ■
- テストにさまざまな情報を関連づけて一元管理
- Webブラウザー上でテストケースを簡単に入力や編集可能
- テスト実施の準備と結果の共有が容易
- 進捗や比較などのレポートを提供
- 要件 / 課題管理ツールやテスト自動化ツールと連携
日本国内では、テスト管理にExcelを使っていたお客さまからの乗り換えが多く、Web上で完結するテスト管理を実現されています。
TestRail でテスト管理のお悩みを解決しませんか？