TestRailとClaudeをMCPサーバーでつないでみた：テスト資産の取り込みから分析まで

ソフトウェアのテストにもAIを活かしたい、そう考えて実際に試してみたものの、期待したほどの成果が出なかった、という声をよく耳にします。実は、その分かれ目になるのが、AIに渡すテスト資産が整っているかどうかです。

そこで今回は、テスト管理ツールTestRailとAIエージェントであるClaudeを、MCPサーバーでつないで、テスト資産の取り込みと分析を実際にやってみました。どこまで自然言語だけで進められるのか、試した様子を紹介します。

本記事は以下のような方におすすめです！

AIをテストに活かしたいが、何から始めればよいか迷っている方
TestRailとAIの連携が実際どう動くのか、画面で見てみたい方
Excelでのテスト管理から一歩進めたい方

テストでAIを活かすために必要なこと
TestRailとAIをMCPサーバーでつなぐ
- 具体的な設定方法
①バラバラの資産をまとめて取り込む
②標準にない切り口で分析する
取り込みと分析以外の使い方
まとめ
関連する製品
- テスト管理ツール TestRail
  - ■ TestRailの特長 ■

テストでAIを活かすために必要なこと

AIがテストで力を発揮できるかどうかは、AIそのものの性能よりも、渡すテスト資産の状態に左右されます。テストケースや実行結果といったテスト資産がExcelや個人のフォルダにバラバラに散らばったままでは、どれだけ優れたAIであっても、その力を十分に活かすのは難しくなります。

裏を返せば、テスト資産を一か所に集め、決まった構造で蓄積しておけば、AIはその資産を土台にして力を発揮できます。その土台を担うのがTestRailです。

TestRailは、テスト資産の一元管理と構造化を支えるツールです。統一されたフォーマットで最新の状態を一か所に集約し、修正の履歴や実行結果もあわせて蓄積できます。さらにTestRailにデータを蓄積し続けることで、より多くの情報をもとに傾向を分析できるようになります。

今回は、このテスト資産の土台であるTestRailの上にAIを組み合わせると何が実現できるのかを、実際に手を動かして確かめてみました。

TestRailとAIをMCPサーバーでつなぐ

TestRailとAIの橋渡しをするのが、MCPサーバーと呼ばれる仕組みです。MCPサーバーは、AIと外部のツールやデータをつなぐための標準的な仕組みで、これを利用すると、AIがTestRailにあるテスト資産を参照したり、TestRailに対して操作を行ったりできるようになります。この仕組みを介してTestRailとAIを接続します。

具体的な設定方法

今回はGitHubで公開されている以下のMCPサーバーを利用します(※)。また、AIエージェントにはClaudeを利用します。

https://github.com/bun913/mcp-testrail

※このMCPサーバーは有志によって公開されているもので、TestRailの公式が提供・保証するものではありません。ご利用は自己責任となる点にご留意ください。また、設定の際にはTestRailのAPIキーを設定ファイルに記載します。APIキーは第三者に渡らないよう、取り扱いには十分ご注意ください。

1. 必要なソフトウェアのインストール

Node.js をインストールします。

2. TestRailサーバーの設定

[Admin] > [サイト設定] > [API]で、[APIの有効化] にチェックを入れて [設定を保存] をクリックします。

[個人設定] > [APIキー] > [キーの追加]をクリックします。

TestRailの[個人設定] > [APIキー] 画面 — TestRailの[個人設定] > [APIキー]

任意の名前を設定して[キーの生成]をクリックします。

キーが生成されたらコピーしておき、[キーの追加]をクリックします。

[設定の保存]をクリックします。

3. Claude Desktop側の設定

[ファイル] > [設定] > [開発者] 画面を開き、[設定を編集] をクリックして、claude_desktop_config.json をエディタで開き、以下のように編集します。

{
  "mcpServers": {
    "testrail": {
      "command": "npx",
      "args": [
        "@bun913/mcp-testrail@latest"
      ],
      "env": {
        "TESTRAIL_URL": "<TestRailサーバーのURL>",
        "TESTRAIL_USERNAME": "<TestRailアカウント名(メールアドレス)>",
        "TESTRAIL_API_KEY": "<TestRailのAPIキー>"
      }
    }
  }
}

4. Claude Desktop を再起動

接続ができると、あとはAIに自然言語で頼むだけです。ここからは、既存の資産を取り込む場面と、蓄積したテスト結果を分析する場面の二つを、実際にやってみます。

①バラバラの資産をまとめて取り込む

まずは取り込みです。これまでExcelやドキュメントでバラバラに管理してきたテストケースや実行結果を、TestRailにまとめたい、という場面を想定します。

やることはシンプルで、対象のファイルを渡して、取り込んでほしいと言葉で頼むだけです。フォーマットを事前に統一することなく取り込むことができます。今回は、テストケースと結果が入ったExcelファイルを渡して、プロジェクトに取り込み、結果まで反映するよう依頼しました。

知りたい観点を自然言語で問いかけている画面 — Claude Desktopの画面：取り込みたいファイルを渡して、自然言語で登録を依頼する

依頼を受けたAIは、いきなり登録を始めるのではなく、まず現状のセクションや、結果登録に使うステータスの定義を確認し、取り込みプランを立ててから作業を進めてくれました。渡したファイルの中身を読み取り、テストケースや結果をTestRailの項目に合わせて登録していきます。

TestRailでテストケースやテスト結果がTestRailに登録されていることが確認できる — *テストケースやテスト結果がTestRailに登録されていることが確認できる*

一件ずつ手作業で移し替える必要はなく、書式の異なるファイルでもそのまま渡せるのが、やってみて楽だと感じた点です。TestRailを使い始めるときや、導入を決める前に手元の資産を整理したいときにも役立ちそうです。

②標準にない切り口で分析する

次は分析です。TestRailには、テストの成功率や不具合の件数などを確認できるダッシュボードが標準で備わっています。日々の状況把握は、多くの場合これで十分です。ただ、標準では用意されていない切り口で情報を確認したい場面もあります。そうしたときにAIとの組み合わせが活きてきます。

例えば、どの機能に不具合が集中しているかを知りたいとします。この観点は標準のダッシュボードだけでは見えにくいのですが、AIに言葉で尋ねることで引き出せました。

問いかけを受けたAIは、MCPサーバーを介してTestRailに蓄積された実行結果を参照し、機能ごとの不具合の状況を集計して、グラフとして示してくれました。

Claude Desktopの画面：*蓄積されたデータをもとに、機能ごとの弱点が可視化される*

どこに問題が集中しているかが視覚的に分かると、次に確認したいことが出てきます。AIとの対話は一度で終わりではありません。表示された結果をふまえて、さらに掘り下げて尋ねられます。今回は、不具合が集中していた機能について、優先度が高いテストはどれかを続けて聞いてみました。

標準の機能でカバーできる部分はそのまま活かしつつ、これまで手間がかかっていた切り口の分析を、言葉で頼むだけで進められました。特別な操作を覚えていなくても、知りたいことを尋ねるだけで、蓄積したテスト資産をもとにAIが答えを返してくれました。

取り込みと分析以外の使い方

今回は取り込みと分析を試しましたが、AIとの組み合わせには、ほかにも使い方があります。例えば、蓄積された修正履歴や実行結果をもとに、過去に問題が起きやすかった箇所や変更の多い箇所をふまえて、テストケースの過不足を点検する、といった使い方です。

なお、AIはあくまで取り込みや分析を支援する役割で、その出力をそのまま最終結果とするものではありません。AIが登録したテストケースや分析の結果は、人が確認し、必要に応じて修正するのが前提です。TestRailに蓄積された資産をもとに動くため、出力が何に基づいているかを確認しやすく、レビューもしやすいと感じました。