テスト・スクリプト改善のヒント

レスポンス時間の要件

　それでは、ここまでに説明したことを基に、レスポンス時間の要件を定義してみよう。ここでは、以下のようなパフォーマンス要件について考えてみることにする。

●平均レスポンス時間の95％信頼区間の上限が5秒未満でなければならない

　実際にパフォーマンス・テストを実施し、結果を分析してみると、平均レスポンス時間が4.5秒、標準偏差が4.9秒であったとする。また、サンプル数は120であるとしよう。このとき、95％信頼区間がどうなるか計算してみると、まず表1からZが「1.95996」であることがわかる。したがって、95％信頼区間は、[4.5−1.95996×4.9/√120, 4.5＋1.95996×4.9/√120]となり、計算すると[3.62, 5.38]となる。意外にも、平均レスポンス時間が良好であるのにもかかわらず、この結果は許容範囲を超えている。実を言えば、80％信頼区間に対する結果でさえも、許容範囲を超えていることが確認できる。このように、信頼区間分析を適用すれば、テスト品質を高精度で評価することができるのだ。

　ここで注意すべきことは、通常のWebアプリケーションにおいて特定のシナリオのレスポンス時間を測定するには、複数のリクエストを送信するように負荷テスト・ツールに指示する必要があるという点だ。

　以下の処理を行うためのリクエストを、順に送信するケースについて考えてみよう。

（1）ログイン
（2）フォームの表示
（3）フォームの送信

　ここで、われわれが着目しているのは（3）のリクエストであるとしよう。このとき、信頼区間分析に必要となるのは、すべてのサンプルに対する統計情報ではなく、（3）のリクエストのすべてのサンプルに対するレスポンス時間の平均と標準偏差である。

　JMeterの「グラフ表示」では、すべてのリクエストに対するレスポンス時間の平均と標準偏差が計算される。一方、JMeterの「統計レポート」では、個々のサンプラーに対する平均レスポンス時間は計算されるが、残念ながら標準偏差は計算されない。したがって、JMeterでは、個々のリクエストに対応する標準偏差の値を得るには別の手段が必要となる。

　だからと言って、平均レスポンス時間だけに頼るのは危険である。なぜなら、平均レスポンス時間はサンプル変動については何も“語らない”からだ。例えば、平均レスポンス時間は許容範囲に収まっているが、信頼区間の確率が75％しかないという場合、どのように判断すべきだろうか。ほとんどの場合、その結果を受け入れるべきではないだろう。

　逆に、信頼区間分析を適用すれば、テスト結果の是非を確信を持って判断できるようになるのである。