継続的テストの手引き

この記事はRaj Subrameyerによるゲスト投稿です。

組織はかつてないスピードで高品質の製品をリリースしようと奮闘しています。現在の市場で競争力を維持するためのプレッシャーは相当なものです。この市場での生き残りを可能にする人気のアジャイルアプローチがDevOpsです。

DevOpsは開発プロセスから無駄を省くのに役立ちます。そして、DevOpsの導入を成功させる鍵となるコンポーネントが継続的テスト(CT)です。

DevOpsにおける継続的テストとは
継続的テストを軌道に乗せる
製品の品質を追跡するためのKPI
継続的テストの実装に必要なツール
関連する製品
- テスト管理ツール TestRail
  - ■ TestRailの特長 ■
- テストの生産性向上をTestRailでお試しください

DevOpsにおける継続的テストとは

従来、QAは機能がQA環境にプッシュされて初めてアプリケーションのテストを開始していました。このアプローチの問題は、開発プロセスの後期に欠陥が見つかるため、結局、その時点では修正に時間とコストがかかりすぎるという点にありました。

継続的テスト(CT)では、テストは早期の計画フェーズから実施され、運用および監視フェーズまで開発プロセス全体を通して継続します。これは、「シフトレフト」パラダイムとも関連します。

CTでは、開発プロセスの各ステージで即座にアプリケーションに関するフィードバックが返されます。コードがチェックインされるたびに自動テストが実行されるため、すばやく情報を得て決定を下すことができます。

また、運用環境で致命的な欠陥が見つかり、無用なコスト、時間、労力を要するリスクを軽減できます。鍵となるのは、できるだけ早期にテストし、できるだけ早く欠陥を見つけることです。

継続的テストを軌道に乗せる

1.既存のテストプロセスの穴を特定する

CT導入の手順を計画する前に、CTでどのような既存の問題を解決できる可能性があるかを把握しておきましょう。現在のテスト成果物、テストプロセス(手動テスト、自動テスト、探索テストなどが含まれるでしょう)、見つかった欠陥のタイプを見直し、品質の高い機能のタイムリーなリリースを妨げているボトルネックを突き止めます。

これらの情報は、どのようにCTを導入し、どのようなテストを含め、開発プロセスのさまざまなステージで実行するかを決定するのに役立ちます。

2.インフラをセットアップする

作業を支援する適切なインフラの準備も、シームレスなCTパイプライン構築の一部です。これには以下のような作業が含まれます。

チームを再調整する
運用時と同様のデータを開発、QA、ステージング環境に統合する
デプロイメントプロセスを変更する
さまざまなブランチにコードがチェックインされるたびに自動テストが実行されるようセットアップする
APIテストでサービス仮想化を使用する
ビルド、デプロイメント、リリースサイクルを自動化するTravis CIなどのCI/CDツールを準備する
DockerおよびKubernetesを使用したコンテナー化を実装する
テストをすばやくデプロイして実行するためのクラウド環境を準備する
開発およびリリースプロセスの可視性を改善するモニタリングツールをセットアップする

3.適切なツールとリソースの選定

さまざまなアクティビティに対して適切なツールを使用することに投資する必要があります。たとえば以下のようなツールがあります。

単体テスト、UIテスト、APIテスト、パフォーマンステスト、セキュリティテスト、アクセシビリティテスト用のテストツールおよびフレームワーク
バージョン管理ツール
CI/CDツール
モニタリングツール
セキュリティスキャナー

また、開発プロセスの中でこれらのツールを効果的に使用できるスキルの高いメンバーも必要です。レポートの分析、問題のトラブルシューティング、問題発生時の速やかな修正などを行う能力が必要です。

4.適切なトレーニングの実施

効果的なCTパイプラインを実現するには、マインドセットの変化も必要です。テストを特定の期間にだけ発生するものとして捉えるのではなく、開発プロセスのあらゆる段階に不可欠な部分として捉えなおす必要があります。

そのためには、みなが新しい考え方に適応できるよう、適切なトレーニングを実施しなければなりません。テストのシフトレフトが前進のための規範となることを受け入れることが必須です。

5.できるだけ自動化する

自動化は、CTとDevOpsパイプラインを結合する接着剤のようなものです。適切に自動化をセットアップすれば、リリースサイクルを短縮するとともに、リリースサイクルの信頼性を改善するのに役立ちます。

自動化可能なあらゆるものを自動化するべきです。これには、単体テスト・デプロイメントテスト・インテグレーションテスト・スモークテスト・セキュリティテスト・パフォーマンステストなどが含まれるでしょう。テスターは、早期に自動化を開始し、いち早く欠陥を発見できるようにすることで、DevOpsおよびCTプロセスにおいて不可欠の役割を果たします。

6.結果を継続的にモニターする

シームレスなCTパイプラインに必要なあらゆるものをセットアップしたとしても、進捗を計測して実装がうまくいっているかどうかを把握しなければ、無駄でしかありません。

たとえば、次のような手順でCTの考課を継続的にモニターします。

毎日のスタンダップミーティング、チームミーティング、レトロスペクティブミーティング、その他のチャネルを通じて、何がうまくいっており、何が改善を必要としているかに関するフィードバックを収集する
週に1回、チームでチェックインミーティングを開き、CTプロセスの成果を分析、議論する
進捗を計測するKPIを決定する
収集されたフィードバックに基づいてCTパイプラインを変更する

CTプロセスを適切にセットアップするには反復的なアプローチが必要であり、より詳しくデータを調べるほど、プロセスを最適化するうえでよりよい洞察が得られます。

製品の品質を追跡するためのKPI

CTはDevOpsプロセスの一部であるため、DevOpsプロセスに適用されるメトリクスはCTにも適用できます。

テストケースのカバレッジ
単体テストのカバレッジ
成功/失敗率
実行済みのテスト数
APIの成功/失敗率
テストによってカバーされた要件
ブロックされたテストケース
自動テストケースの割合
成功したコードのビルド
新規欠陥
重大な欠陥
リスクによって優先度を付けられた自動テスト
コードカバレッジ
リリース期日
見つかった欠陥の合計
新たに見つかった API の欠陥

これらのメトリクスを利用すると、実装プロセスに不足しているものを判断し、ただちに修正アクションをとることができます。

継続的テストの実装に必要なツール

開発プロセスのさまざまなフェーズで継続的テストを可能にする多数のツールやフレームワークがあります。たとえば、Travis CIやJenkinsなどのCI/CDツール、SeleniumやAppiumなどの自動テストフレームワーク、Ranorexなどのテスト自動化ツール、JUnit、NUnit、Jasmineなどの単体テストツール、SplunkやGraphiteなどのモニタリングツール、TestRailなどのテスト管理ツールがあります。

特に、テスト管理ツールは開発プロセスで行われたすべてのテストの詳細を1つのダッシュボードで参照するのに役立ちます。テスト管理ツールは、他のステークホルダーと共有可能なレポートを生成することもできます。チーム内のコラボレーションを促進し、全体的なテストの進捗を追跡できる適切なテスト管理ツールを選択することが重要です。

たとえば、CTパイプラインでTestRailを使用すると、次のようなレポートを生成できます。