テスト管理システム

どんなテストをするのか?そのテストはどこまで進んでいるのか?これは是非とも管理しておきたい項目です。

私はこれまで、WordだったりExcelだったりを使い、まったく一貫性のない方法でテストを管理してきました。ところが、いろいろと困ったことが出てきたのです。

  • テスト仕様書の管理に、手間がかかる
  • テストの実施そのものが大変。なるべく人に任せたい。
  • 「テスト仕様書」と「テストレポート」の対応付けが面倒くさい。

単なるワガママですね。えぇ、分かっています。

最後の「テスト仕様書」と「テストレポート」の対応付けというのは、こういうことです。

テスト仕様 TEST-001 : 手順1:ボタンをクリックする 結果1:メッセージボックスに「何すんねん!」と表示されることを確認する

テストレポート: TEST-001 を実行したが、結果1の代わりに「なんでやねん!」と表示された。バグではないか?

テストレポートだけ見ると、わけわかりませんよね。かといって、テスト仕様書の中にテスト結果まで書くのはおかしい。おかしいんだけど・・・今はそうしてます。

テスト管理システムは、私を幸せにするか?

こういうのが希望です。

  • テストケースを、簡単に入力できる
  • テストケースに、テストデータ(Simulinkモデルとか)を張り付けておきたい
  • 「今回は、これとこれだけテストするぞー」って、簡単に決めたい (毎回、全部のテストケースは実行不可能)
  • テスト結果を、わかりやすくレポートにしたい。お客様に提出できるレベルだとうれしい。

まぁ、これだけなんです。逆に、あまり高度な機能があっても迷うだけなのでいりません。むしろ迷惑です。

こういうのがあったら、最初だけがんばってテストケースを入力しておきます。あとは中間リリースとかがある度に、「このテストとこのテスト、やっといてー」って人に割り当てます。

あとはシステム上で、「ふむふむ、どこまでテストが進んだかな?」をモニターしながら、一人でニヤニヤします。

2つシステムを試してみました

まずはネットで情報収集です。ほんとに色んなシステムがありますねぇ。その中から、機能が多すぎず少なすぎず、ジャストフィットしそうなシステムを試してみることに。

まず試したのはフリーのシステム。最近よく耳にするようになりました。数年前に、テスト系の雑誌で特集組まれていたこともあります。日本語化などもされていて、なかなかいい感じです。ところが・・・わからん!

私の小さな小さな脳みそでは、どうやって使ったらいいのかがサッパリわかりませんでした。最悪、苦労して使い方を覚えるにしても、こいつはちょっと保留です。(あえて名前は伏せておきます)

次に試したのはTestRailという有償ツール。ベンダーはドイツのGurock Software社。たぶん数名規模の会社で、発売されてからまだ1年半しかたっていません。ところが、なんとなく心にひっかかるものが。なんというかこう、優秀な会社のニオイがする!

TestRail画面

機能拡張するたびに使いづらくなって、どんどん使いこなせなくなるというのでは困ります。しかし、TestRailはそういう心配はなさそう・・・な気がします・・・単なる直感ですが・・・

Test Rail

さっそく30日トライアルを申し込みました。これは、サーバー上にインストールしておいて、それを各マシンのブラウザからアクセスするタイプです。インストールしてみて最初に思ったのは・・・なんじゃこりゃ?分かりやすすぎる。

Test Railにおけるテスト情報は、

・テストの定義 → Test Suite (=テスト仕様書に該当)
・テストの結果 → Test Run (=テストレポートに、だいたい該当)

と分離しています。

まず Test Suite内にテストケースをいっぱい作っておきます。

テストケース一覧。ドラッグ&ドロップで編集もできる

それから、テストを実施するたびに Test Runを生成します。Test Run生成時には、Test Suite内のどのテストケースを実施するのか?を選択します。

あとは、作ったTest Run上にぽちぽちと結果を入力していくだけです。

Test Runの集計画面

うれしいのは、「各テストケースそれぞれに、担当者を割り振れる」という点です。私がわーっと定義だけしておいて、実施はすべてヨメさんに割り当てるという事も可能に。。。これはいい!

ちなみに、Test Runは、ブラウザ上で確認するだけでなく、レポート生成する事もできます。(レポート生成サンプル

細かな点でいくつか不満もありますが、ベンダーの開発スピードを見てたら、1~2年で対応してくれそうな気がします。悪くないですね。

次回

今回調べたり試したりした中では、TestRailが私の心に刺さりました。ためしに小規模な運用をして、使えそうか見てみます。その結果を、来週かその次あたりにレポートします。