テスト管理システム
どんなテストをするのか？そのテストはどこまで進んでいるのか？これは是非とも管理しておきたい項目です。
私はこれまで、WordだったりExcelだったりを使い、まったく一貫性のない方法でテストを管理してきました。ところが、いろいろと困ったことが出てきたのです。
- テスト仕様書の管理に、手間がかかる
- テストの実施そのものが大変。なるべく人に任せたい。
- 「テスト仕様書」と「テストレポート」の対応付けが面倒くさい。
単なるワガママですね。えぇ、分かっています。
最後の「テスト仕様書」と「テストレポート」の対応付けというのは、こういうことです。
テスト仕様 TEST-001 ： 手順１：ボタンをクリックする 結果１：メッセージボックスに「何すんねん！」と表示されることを確認する
テストレポート： TEST-001 を実行したが、結果１の代わりに「なんでやねん！」と表示された。バグではないか？
テストレポートだけ見ると、わけわかりませんよね。かといって、テスト仕様書の中にテスト結果まで書くのはおかしい。おかしいんだけど・・・今はそうしてます。
テスト管理システムは、私を幸せにするか？
こういうのが希望です。
- テストケースを、簡単に入力できる
- テストケースに、テストデータ（Simulinkモデルとか）を張り付けておきたい
- 「今回は、これとこれだけテストするぞー」って、簡単に決めたい （毎回、全部のテストケースは実行不可能）
- テスト結果を、わかりやすくレポートにしたい。お客様に提出できるレベルだとうれしい。
まぁ、これだけなんです。逆に、あまり高度な機能があっても迷うだけなのでいりません。むしろ迷惑です。
こういうのがあったら、最初だけがんばってテストケースを入力しておきます。あとは中間リリースとかがある度に、「このテストとこのテスト、やっといてー」って人に割り当てます。
あとはシステム上で、「ふむふむ、どこまでテストが進んだかな？」をモニターしながら、一人でニヤニヤします。
２つシステムを試してみました
まずはネットで情報収集です。ほんとに色んなシステムがありますねぇ。その中から、機能が多すぎず少なすぎず、ジャストフィットしそうなシステムを試してみることに。
まず試したのはフリーのシステム。最近よく耳にするようになりました。数年前に、テスト系の雑誌で特集組まれていたこともあります。日本語化などもされていて、なかなかいい感じです。ところが・・・わからん！
私の小さな小さな脳みそでは、どうやって使ったらいいのかがサッパリわかりませんでした。最悪、苦労して使い方を覚えるにしても、こいつはちょっと保留です。（あえて名前は伏せておきます）
次に試したのはTestRailという有償ツール。ベンダーはドイツのGurock Software社。たぶん数名規模の会社で、発売されてからまだ１年半しかたっていません。ところが、なんとなく心にひっかかるものが。なんというかこう、優秀な会社のニオイがする！
TestRail画面
機能拡張するたびに使いづらくなって、どんどん使いこなせなくなるというのでは困ります。しかし、TestRailはそういう心配はなさそう・・・な気がします・・・単なる直感ですが・・・
Test Rail
さっそく３０日トライアルを申し込みました。これは、サーバー上にインストールしておいて、それを各マシンのブラウザからアクセスするタイプです。インストールしてみて最初に思ったのは・・・なんじゃこりゃ？分かりやすすぎる。
Test Railにおけるテスト情報は、
・テストの定義 → Test Suite （＝テスト仕様書に該当）
・テストの結果 → Test Run （＝テストレポートに、だいたい該当）
と分離しています。
まず Test Suite内にテストケースをいっぱい作っておきます。
テストケース一覧。ドラッグ＆ドロップで編集もできる
それから、テストを実施するたびに Test Runを生成します。Test Run生成時には、Test Suite内のどのテストケースを実施するのか？を選択します。
あとは、作ったTest Run上にぽちぽちと結果を入力していくだけです。
Test Runの集計画面
うれしいのは、「各テストケースそれぞれに、担当者を割り振れる」という点です。私がわーっと定義だけしておいて、実施はすべてヨメさんに割り当てるという事も可能に。。。これはいい！
ちなみに、Test Runは、ブラウザ上で確認するだけでなく、レポート生成する事もできます。（レポート生成サンプル）
細かな点でいくつか不満もありますが、ベンダーの開発スピードを見てたら、１～２年で対応してくれそうな気がします。悪くないですね。
次回
今回調べたり試したりした中では、TestRailが私の心に刺さりました。ためしに小規模な運用をして、使えそうか見てみます。その結果を、来週かその次あたりにレポートします。