テスト管理システム
どんなテストをするのか?そのテストはどこまで進んでいるのか?これは是非とも管理しておきたい項目です。
私はこれまで、WordだったりExcelだったりを使い、まったく一貫性のない方法でテストを管理してきました。ところが、いろいろと困ったことが出てきたのです。
- テスト仕様書の管理に、手間がかかる
- テストの実施そのものが大変。なるべく人に任せたい。
- 「テスト仕様書」と「テストレポート」の対応付けが面倒くさい。
単なるワガママですね。えぇ、分かっています。
最後の「テスト仕様書」と「テストレポート」の対応付けというのは、こういうことです。
テスト仕様 TEST-001 : 手順1:ボタンをクリックする 結果1:メッセージボックスに「何すんねん!」と表示されることを確認する
テストレポート: TEST-001 を実行したが、結果1の代わりに「なんでやねん!」と表示された。バグではないか?
テストレポートだけ見ると、わけわかりませんよね。かといって、テスト仕様書の中にテスト結果まで書くのはおかしい。おかしいんだけど・・・今はそうしてます。
テスト管理システムは、私を幸せにするか?
こういうのが希望です。
- テストケースを、簡単に入力できる
- テストケースに、テストデータ(Simulinkモデルとか)を張り付けておきたい
- 「今回は、これとこれだけテストするぞー」って、簡単に決めたい (毎回、全部のテストケースは実行不可能)
- テスト結果を、わかりやすくレポートにしたい。お客様に提出できるレベルだとうれしい。
まぁ、これだけなんです。逆に、あまり高度な機能があっても迷うだけなのでいりません。むしろ迷惑です。
こういうのがあったら、最初だけがんばってテストケースを入力しておきます。あとは中間リリースとかがある度に、「このテストとこのテスト、やっといてー」って人に割り当てます。
あとはシステム上で、「ふむふむ、どこまでテストが進んだかな?」をモニターしながら、一人でニヤニヤします。
2つシステムを試してみました
まずはネットで情報収集です。ほんとに色んなシステムがありますねぇ。その中から、機能が多すぎず少なすぎず、ジャストフィットしそうなシステムを試してみることに。
まず試したのはフリーのシステム。最近よく耳にするようになりました。数年前に、テスト系の雑誌で特集組まれていたこともあります。日本語化などもされていて、なかなかいい感じです。ところが・・・わからん!
私の小さな小さな脳みそでは、どうやって使ったらいいのかがサッパリわかりませんでした。最悪、苦労して使い方を覚えるにしても、こいつはちょっと保留です。(あえて名前は伏せておきます)
次に試したのはTestRailという有償ツール。ベンダーはドイツのGurock Software社。たぶん数名規模の会社で、発売されてからまだ1年半しかたっていません。ところが、なんとなく心にひっかかるものが。なんというかこう、優秀な会社のニオイがする!
TestRail画面
機能拡張するたびに使いづらくなって、どんどん使いこなせなくなるというのでは困ります。しかし、TestRailはそういう心配はなさそう・・・な気がします・・・単なる直感ですが・・・
Test Rail
さっそく30日トライアルを申し込みました。これは、サーバー上にインストールしておいて、それを各マシンのブラウザからアクセスするタイプです。インストールしてみて最初に思ったのは・・・なんじゃこりゃ?分かりやすすぎる。
Test Railにおけるテスト情報は、
・テストの定義 → Test Suite (=テスト仕様書に該当)
・テストの結果 → Test Run (=テストレポートに、だいたい該当)
と分離しています。
まず Test Suite内にテストケースをいっぱい作っておきます。
テストケース一覧。ドラッグ&ドロップで編集もできる
それから、テストを実施するたびに Test Runを生成します。Test Run生成時には、Test Suite内のどのテストケースを実施するのか?を選択します。
あとは、作ったTest Run上にぽちぽちと結果を入力していくだけです。
Test Runの集計画面
うれしいのは、「各テストケースそれぞれに、担当者を割り振れる」という点です。私がわーっと定義だけしておいて、実施はすべてヨメさんに割り当てるという事も可能に。。。これはいい!
ちなみに、Test Runは、ブラウザ上で確認するだけでなく、レポート生成する事もできます。(レポート生成サンプル)
細かな点でいくつか不満もありますが、ベンダーの開発スピードを見てたら、1~2年で対応してくれそうな気がします。悪くないですね。
次回
今回調べたり試したりした中では、TestRailが私の心に刺さりました。ためしに小規模な運用をして、使えそうか見てみます。その結果を、来週かその次あたりにレポートします。