テスト管理ツール「TestRail」では、「進捗」機能を使ってテストの進捗の可視化とテスト工数の予実管理ができます。本記事では、TestRailを使って、テストの進捗を可視化する方法と、テスト工数の予実を管理する方法について解説します。
TestRailの「進捗」機能とは
TestRailの「進捗」機能では、マイルストーン（リリースバージョン単位でプロジェクトを区切ったもの）やテストラン（実施するテストをまとめたもの）の単位で現在のテストの進捗状況を確認できます。
下の図のように、バーンダウンチャートやテストの完了予測日、進捗割合などの進捗に関する詳細情報、さらにテストの見積り時間やTestRailが算出した予測時間を確認できます。
表示する情報は、テストケースの「見積り」時間（下の図の左）やテスト結果の「経過期間」（下の図の右）を元に計算を行います。
上から順に各項目でどのような情報を表示しているのか説明します。
バーンダウンチャート
画面の上部には、下の図のバーンダウンチャートが表示されます。
- 残テスト（青色）
- 日付時点で、最終ステータス(デフォルトではPassed、Blocked、Failed、または独自に追加した最終ステータス)に該当しないテスト数です。
- グラフにマウスオーバーすると日ごとの残テスト数を確認できます。
- グラフの右側の「〇%のテストが完了しました。」の箇所では、最終ステータスに該当するテスト数の割合がわかります。
- 残作業（赤色）
- 日付時点で、TestRailが計算したテスト完了までの予測の作業時間です。
- グラフにマウスオーバーすると、「予測」と表示され、日ごとの残テストを消化するために必要な時間の目安を確認できます。
- グラフの右側の「〇％が完了しました。」の箇所では、全体の予測時間に対する完了済み予測時間の割合がわかります。
- 理想的な進捗（灰色）
- 「テスト開始日」から「テスト完了予測日」までを一直線に結んでいます。
- 青色の「残テスト」が「理想的な進捗」よりも下にある場合は順調に進捗していて、上にある場合は進捗が遅れていることを意味します。
- グラフの右側の「あと〇日（予測）」の箇所では、今のペースで作業した場合に、あと何日で、テストラン、マイルストーン内の全てのテストが完了するかを把握できます。
このように、バーンダウンチャートでは、現在のテストの消化状況が順調なのか遅れているのかを確認できます。
「進捗」に表示される情報
バーンダウンチャートの下の「進捗」の箇所では、テスト完了予測日・テストの完了割合・経過期間・平均テスト完了数・平均テスト実施時間が表示されます。それぞれ説明します。
- 完了予測日
- TestRailが、テストケースに入力された見積り時間、実際のテスト時間、その他の使用状況のデータを元にして独自のアルゴリズムで予測した、テストラン、マイルストーン内のテストがすべて完了する日付けです。
- 「精度の高い予測です。」と表示されている場合は、予測に必要なデータが十分にあることを示しています。データが足りないと、「予測不能」や「低精度」と表示されるので、テストに「見積り」を入力してデータを足していきましょう。テストの「経過期間」など、実績のデータがたまることでも精度は向上します。
- テストの完了割合
- テストラン、マイルストーンで最終ステータスのテストの割合です。
- 経過期間
- テストラン、マイルストーンでこれまでにかかったテスト時間の合計です。
- テストに結果を記録する際に入力する「経過期間」を集計しています。
- 平均テスト完了数
- 1日に平均何件のテストが完了しているかを表します。
- 平均テスト実施時間
- 1日に平均何時間テストを実施しているかを表します。
- テストに結果を記録する際に入力する「経過期間」を集計しています。
このように、「進捗」に表示される情報からは、TestRailが予測した完了日と、現在のテスト完了割合や経過期間など、詳細な進捗のデータを確認できます。
「メトリクス」に表示される情報
「メトリクス」の表には、「完了済み」（最終ステータス）のテストと、「Todo」（最終ステータス以外）のテストの「見積り値」と「予測値」、それぞれの合計値が表示されます。
- 見積り値
- テストケースの「見積り」に入力した時間の合計です。
- テストラン、マイルストーンに含まれるテストの実施に必要な時間をテストケースの見積りベースで確認できます。
- 予測値
- TestRailが独自に計算した、テストの実施に必要な時間です。
- テストラン、マイルストーンに含まれるテストの実施に必要な時間を、TestRail がこれまでの実績ベースで自動計算した時間を確認できます。
このように、「メトリクス」に表示される情報からは、人が見積った時間とTestRailが予測した時間を並べて比較することができます。
「進捗」機能の活用例
日々の進捗確認に利用する
テストチームのリーダーが、日次や週次でバーンダウンチャートを確認して、残テストの消化状況が理想と乖離していないか確認します。乖離がある場合はテストのアサイン等を見直します。
例えば、下の図のバーンダウンチャートを見ていきましょう。
バーンダウンチャートからは以下のことが読み取れます。
- 「残テスト」＞「理想的な進捗」であるため、テストの消化に遅れが生じている。
- 「残テスト」＞「残作業」（予測）であるため、予測よりもテストを消化できていない。
このバーンダウンチャートでは、テストをうまく消化しきれていないため、対策を取る必要があります。例えば、テストチームへのメンバーの追加、テストのアサインの見直し、テストケースの精査等の対策が考えられます。
テストのアサインおよびアサインの状況を確認する方法については以下の記事をご参照ください。
このように、定期的にバーンダウンチャートを確認することで、マイルストーンやテストランの中で、テストを順調に消化できているのかを把握することに役立ちます。
チームのパフォーマンスを把握するのに利用する
「進捗」に表示される情報を元にチームのパフォーマンスを把握します。下の図の進捗を見ていきましょう。
「完了日」（完了予測日）を見て、開発やリリースの計画と照らし合わせてテストの完了予測日が問題ないかを確認します。完了予測日は、TestRailが自動で算出した値なので、目安にはなりますが、開発やリリースの計画から遅延してしまう場合は、計画通りに進められるようにテストの進め方を見直します。例えば、上の図の場合は、「4/26」にテストが完了すると予測されていますが、リリース日が4/26より前の場合は、リリースまでにテストが終わらないため、テストの進め方を見直します。
「完了:○○%」と「経過期間:○○時間」を見て、進捗に対する消化済みの時間（工数）に問題がないか確認します。進捗は少ないのに消化済みの工数が多い場合は、テスト担当者に対してテストの難易度が高すぎるなど、テストの進め方に問題がある可能性が高いため、見直しを行います。例えば、上の図の場合は、216時間を使って65％のテストを消化していますが、仮に後述する「見積り値」（各テストの「見積り」に入力した時間の合計、つまりテスト全体で必要と見積った時間）が300時間だった場合は、既に216/300で72%と進捗の割合よりも多くの工数を使ってしまっていることになります。
「テスト/日:○○」と「時間/日:○○」からは、チームの1日の生産性を確認します。例えば、上の図の場合は、1日に平均276件のテストを完了し、30時間をテストに使っていることがわかります。このデータを元に今後のテスト計画に役立てます。
「見積り値」と「予測値」を比較して、見積り精度の向上に役立てる
「メトリクス」に表示されるテストケースに入力した見積り値とTestRailが自動で計算した予測値を比較します。下の図の各値を見ていきましょう。
「合計」を見ると、「見積り値」は、156時間に対して、「予測値」は202時間になっています。これは、テストが完了しているかどうかにかかわらず、テスト実施前に見積もった時間が、TestRailが予測した必要な時間よりも少なくなっていることを示します。
また、「完了済み」の行を確認すると、こちらも「見積り値」より「予測値」の方が長くなっており、さらに前述の「進捗」の箇所で確認できる「経過期間」は216時間だったため、実際はさらに長い時間がかかっていることがわかります。
このように見積り値と予測値、さらに経過期間を確認することで、テストケースに入力した見積り値とこれまでのデータを元にした予測値、さらに実際にかかった時間を比較することができます。
今回は、各テストケースに入力された見積りが甘かったことがわかるため、これから実施するテストの見積りを少し長めに再設定したり、今後のテスト計画時に今回の結果を活かしたりして、見積りの精度を上げていきます。
実際にどのテストで見積りが甘かったのかは、プロジェクトの「テストランと結果」画面で、「見積り」、「予測」、「経過期間」の3つを列に追加して比べると便利です。例えば下の図のように、それぞれの値を比較することができます。
まとめ
TestRailの活用術として、テストの進捗の可視化とテスト工数の予実管理についてご紹介しました。「進捗」機能を利用すると、進捗をバーンダウンチャートで可視化でき、詳細の進捗状況はデータで確認できます。また、人が見積ったテストの工数とTestRailが予測した工数、さらに実績に工数を比較することもできます。ぜひ、テスト管理に役立ててみてください。
実際にTestRailの画面を確認したい方は、以下のページより公開デモサイトをご利用ください。
関連する製品
テスト管理ツール TestRail
テストケースの管理やテスト結果の記録、チームでの情報共有など、Excelを使ったテスト管理の業務に限界を感じていませんか？TestRailはシンプルで使いやすいUIを提供し、テストにかかるさまざまな管理コストの削減に貢献します。
■ TestRailの特長 ■
- テストにさまざまな情報を関連づけて一元管理
- Webブラウザー上でテストケースを簡単に入力や編集可能
- テスト実施の準備と結果の共有が容易
- 進捗や比較などのレポートを提供
- 要件 / 課題管理ツールやテスト自動化ツールと連携
日本国内では、テスト管理にExcelを使っていたお客さまからの乗り換えが多く、Web上で完結するテスト管理を実現されています。
TestRail でテスト管理のお悩みを解決しませんか？