TestRail活用術：信頼度成長曲線を使った品質の評価

テスト管理ツール「TestRail」では、「マイルストーン (信頼度成長曲線) (サマリー) 」レポートを使って信頼度成長曲線を表示することができます。信頼度成長曲線を確認することで、テストの進捗と欠陥数からソフトウェアの品質を評価できるため便利です。

本記事では、信頼度成長曲線の概要とTestRailで利用できる３つのグラフとその活用術、レポートの作成方法をご紹介します。

信頼度成長曲線とは
TestRailで利用できる３つのグラフと活用術
レポートの作成方法
- 事前準備
- レポートの作成
まとめ
関連する製品
- テスト管理ツール TestRail
  - ■ TestRailの特長 ■

信頼度成長曲線とは

信頼度成長曲線は、テスト工程で欠陥（バグ）数が開発の進捗に従って増加していく様子を表したグラフです。下の図のように、縦軸は欠陥数、横軸は確認したい情報にあわせてテスト実施時間・経過日数・テスト数などを当てはめます。

一般的には初期段階では欠陥数が急増し、中期から後期にかけて欠陥の増加が緩やかになり、最終段階では欠陥数がほぼ水平になります。どの程度の欠陥数になったら十分な品質になったと判断するかの基準として用いる場合もあります。

TestRailで利用できる３つのグラフと活用術

出力されるグラフの種類

TestRailのカスタムレポートとしてテクマトリックスが用意している「マイルストーン (信頼度成長曲線) (サマリー) 」を使うと、指定したマイルストーンに紐づくテスト結果をもとに3種類の信頼度成長曲線のグラフを表示できます。（※こちらからレポートのPDFを参照できます。）

縦軸はどのグラフも同じで「欠陥数」ですが、横軸がそれぞれ異なり、下記の3種類があります。それぞれにメリット・デメリットがあるため3種類用意しており、プロジェクトの状況に合わせて使い分けていただくことを想定しています。

テスト実施時間(分)と欠陥数
- テストの実施にかかった総時間と欠陥数からグラフを作成します。
- 単体～システムテストまでのすべてのテストをプロットした場合、終盤のほうが実施時間がかかるため、収束しているように見えてしまいがちです。
経過日数と欠陥数
- テストの実施期間（経過日数）と欠陥数からグラフを作成します。
- 工程によりテストの実施数にムラが出るので、テストを実施しなければ収束したように見えてしまうことがあります。
テスト数と欠陥数
- 完了したテストの数と欠陥数からグラフを作成します。
- テスト実施時間と同様に、テストの実行自体に時間がかかると収束しているように見えてしまうがあります。

各グラフで何がわかりどのように活用できるのかご紹介します。

テスト実施時間(分)と欠陥数

このグラフの横軸は、「テスト実施時間(分)」です。テストに費やした時間と、その時間内で発見された欠陥の数を把握することで、テストチームの作業の効果を評価できます。

短時間で多くの欠陥が発見されている場合、テストが効果的に行われていると評価できます。長時間で多くの欠陥が発見されていて上昇傾向の場合、テストが効果的ではないと評価できます。

上の図のグラフは、初期段階ではあまり多くの欠陥を発見できていません。また、現時点で8974分（約150時間）をテストに費やしているのに欠陥数が上昇傾向のため、テストが効果的に行われていないと評価できます。テストの方法やテストケースの見直しが必要です。

経過日数と欠陥数

このグラフの横軸は、「経過日数」です。テスト開始からの経過日数と、発見された欠陥の数を把握することで、テストの進捗状況とソフトウェアの品質を評価できます。

経過日数が進むにつれて欠陥の増加が緩やかになる場合、テストが効果的に行われ、欠陥が修正されていることがわかります。経過日数が進んでも欠陥数が上昇傾向の場合、まだ多くの欠陥が残っている可能性があります。

上の図のグラフは、初期段階では欠陥が多く発見されていますが、経過日数が進むにつれて欠陥の増加が緩やかになり、6日目と7日目では欠陥数がほとんど変わらないため、テストが効果的に行われていることがわかります。

テスト数と欠陥数

このグラフの横軸は、「テスト数」です。実施したテストの数と、発見された欠陥の数を把握することで、テストケースの網羅性と効果を評価できます。

多くのテストが実施されていて欠陥の増加が緩やかになる場合、テストケースの網羅性が高く、ソフトウェアの品質が向上していることがわかります。多くのテストが実施されているのに欠陥数が上昇傾向の場合、テストケースの網羅性が低く、欠陥が多く残っている可能性があります。

上の図のグラフは、多くのテストが実施されているのに欠陥数が上昇傾向のため、テストケースの網羅性が低いことがわかります。重要なシナリオが見逃されていることなどが考えられるため、要求仕様を再確認し、テストケースの漏れや曖昧な点がないかなどを確認する必要があります。

レポートの作成方法

事前準備

テクマトリックスTestRailクラウドサービスをご利用の場合
- 事前準備は不要です。
オンプレミス版TestRailをご利用の場合
- 専用のスクリプトの配置が必要です。
- 詳しくは、マニュアルのこちらのページの「カスタム信頼度成長曲線レポート」をご覧ください。

レポートの作成

１．該当プロジェクトの「レポート」画面の右側にある、「サマリー」の「マイルストーン(信頼度成長曲線)」をクリック

２．レポートの名前、説明の入力

名前
- デフォルトで「マイルストーン(信頼度成長曲線)(サマリー)」の文字列と変数（%data%）を使った今日の日付が入ります。必要に応じて変更します。
説明
- 必要に応じてレポートの内容が分かるような説明を記入します。空のままでも問題ありません。

３．レポートオプションの設定

オプションは3つのタブに分かれています。信頼度成長曲線の出力内容にかかわる部分を解説します。

まずは「マイルストーン」のタブで、集計に含めるマイルストーンを選択し、「信頼度成長曲線」にチェックを入れます。

次のマイルストーンを使用
- 集計に含めるマイルストーンを選択します。
次の詳細/セクションを含める
- 「信頼度成長曲線」にチェックを入れます。
- チェックがないと信頼度成長曲線のグラフが出力されません。

次に、「アクティビティ」タブで、レポートの期間と集計対象にするテスト結果のステータスを選択します。

次のタイムフレームを使用
- レポートの期間を選択します。
次のステータスを含める
- 「すべてのステータス」か「次のステータスのみ」を選択します
- 信頼度成長曲線の集計対象は、指定したマイルストーンに含まれるテスト結果のうち、最終ステータスのもののみです。そのため「すべてのステータス」を選択した場合でも、最終ステータスではないテスト結果（例えば「Untested」など）は集計対象に含まれません。

最後に、「テスト」タブで、選択したテストに対する設定を追加します。詳細はマニュアルをご確認ください。

４．「アクセスとスケジュール」を設定し、「レポートの追加」をクリック

アクセスとスケジュールの設定の詳細については、マニュアルをご確認ください。設定が完了したら、「レポートの追加」ボタンをクリックするとレポートを出力できます。