【テストを”段取”る!】JaSST’13 Kyushuに行って共感できたこと

みなさんこんにちは。

先日のQUESとは別ですが、11月にテスト系のシンポジウムであるソフトウェアテストシンポジウム(通称JaSST)2013九州に行って来ました。

ソフトウェア品質に関わっていらっしゃる方はご存知でしょうが、全国各地で行われている規模の大きなイベントです。

◆未来の話から明日の話まで時系列で繋がっている多彩なテーマ

今回の内容は、複数の講演者による講演や発表、パネルディスカッションなどでテーマもスマートシティ等の未来の話から、目の前のテストケース見直しへのアプローチのように明日すぐに取り掛かれる話まで、テーマも多彩で興味が途切れることがありませんでした。

私はQAのマネジメントやテストの設計から実施まで関わることが多いので、講演の中でも不具合やテスト品質の改善にフォーカスされた話題に特に共感できることが多かったですので、自分が講演を聞いて感じたことを書いてみようと思います。

◆まずは明日からできる話に大きな興味を抱いた

電気通信大学の西康晴先生の「ちょっと明日のテストの話をしよう」と題した講演を聴くことができました。

例えば、間違ったテスト手法の1つにCPM法(仕様書の文章をコピー[C]&ペースト[P]&モディファイ[M]してExcelに反映する方法)というのがあり、会場からは私も含めて笑いが漏れていました。
しかし、笑いが起きたものの実際の現場では、というか実際のテスト設計者でも行っている人はいそうです。

普段は行わないよ、と思っている方でもどうしても時間が不足しているが、支援が期待できずに先延ばしも無理な状況ではダメだとわかっていながら、行う可能性はあるかもしれないな、とも思ったりしました。

この場合は、テスト設計以前に、QAに関するスケジュールの仕方に原因がある可能性がありますが、その際もテスト観点のモデル化やテストアーキテクチャの構築が自身(またはチームもしくは会社)の中に確立していれば、それを前提としたアクションなりスケジューリングの話なりも、今までよりもうまく進められると思いました。

(つまり、このような考え方が根付いていないので、うまいテストスケジュールが立てられない一因にもなっていそうだと思いました)

◆明日から取り掛かれるものがこんなにある

話の中には明日からすぐにできる改善について、共感できることが多々ありました。
以下は、講演の中で紹介されたごく一部の内容です。

改善できることは、2,3年かけて行うようなことまで長いスパンで多くのアプローチがありましたが、すぐにやらなければならない、または手近に取り掛かれそうなものも多くありました。

例えば、明日からできる改善としては、以下のような施策があるということでした。

  • カバレッジ分析
    テスト観点は特定できていたが、カバレッジ基準・達成率の低い場合は、工数不足などの問題があった場合にこれを改善していく。
  • 不具合モード分析
    発見したバグや逆に見逃したバグについてパターン化して観点に組み込む。
  • テスト観点モデルのリバースモデリング
    実際のテストケースからどういうテスト観点や関連でテストしようとしているかを列挙・整理する。
    見逃したバグやケース外で出たバグを分析して、どういうテスト観点が漏れていたかを分析する。
  • ステレオタイプ分析による改善
    テスト観点モデルの各詳細化関係の種類やMECE性を分析する。
  • ディレイ分析によるテストアーキテクチャの改善
    見逃したバグや検出されたバグを分析して、リバースされたテスト観点モデルにマッピングし、テストアーキテクチャ設計をレビューし改善する。
  • 傾向分析によるリスク値の改善
    見逃したバグや検出されたバグを分析して、各テスト観点のリスク値を(利用頻度、致命度、欠陥混入確率など)を改善する。

◆漏れたバグの追求ももちろん大事だけど、検出できたバグも出しっぱでは宝の持ち腐れ

上記のことを聴いて感じたのは、テストケースから漏れた(見逃した)バグについては、ある日市場不具合となって発生し、被害が甚大になることもあるということを考えると、何故漏れたのかを分析・検証し、どのように改善を行うのかを考えることが、非常に重要だと改めて思えたことでした。

また、テストで検出できたバグについても、どのような箇所でどのような内容のケースを書いた結果、どんなバグがどれくらい出たのかについても、テストケースの品質を知り、継続的に改善していく上でとても大切なことだと思いました。

◆いつかやらねば、が今聴けた

講演は、ユーモアを交えながらのお話で、非常に面白かったのですが、
それにも増して聴けて良かったと思えたのは、自分が関わる業務について、普段なんとなく行っていること、時間ができたらじっくり考えようと思っていたことが、この講演の中で非常に分かりやすく具体的でかつ体系立てられた内容となってズバリ聴けたことで、その内容に対して「すごいなあ、その通りだなあ」と共感を覚え、同時に「今までできていないところを少しずつでもこういう考え方でアクションしていかなければ」とも思わされました。

◆テストって何か テストではどう考えるのか

最後の方で、「いつもテストってなんなのかを心に刻みましょう」というところがあり、

  • スタンス1:テストとは行動である
    >>行動の内容と結果だけを提示する(何時間テストしました、何千件テストしました)
  • スタンス2:テストとは説明である
    >>行動の根拠や行動の妥当性も提示する(この仕様書の網羅性は100%です)
  • スタンス3:テストとは納得し不安を減らすことである
    >>納得し不安を減らしやすいように理解しやすく提示する

というのがあったのですが、1つ1つ納得できる内容でした。

続けて、
「ずっと『テストは何を評価するのか』を考え続けましょう」では、
そもそも何をテストするのか? そのシステムやサービスが実際にはどんな環境や場面で、どのような使われ方をするのか?

をしっかり考えないと、あまり本質的でないテストに成り下がるとも感じました。

◆時間空けてイベントに行くべき

私も普段は業務で忙しく、なかなか外部のイベントや勉強会などに出かけて行く機会も少ないのですが、こうして今回のような話を直に聴いたり、見たりすると、想像以上に得られるものが多く、半日でも時間を割いたことがその後の何日分、何ヶ月分もの効率化に繋がる可能性を感じたりもしました。

また、講演者、参加者との交流が企画されている場合もあり、そこで貴重な情報交換をすることで、その後の自身の活動に大いに影響があることも多いかと思います。

皆さんも忙しいとは思いますが、一度聴きにいく機会があれば、QUESやJaSST、その他の勉強会などにも参加してみてください。僅かな時間の参加であっても、得るものは大きいかもしれません。
この情報が何かのお役に立てば幸いです。

このエントリーをはてなブックマークに追加

2件のコメント

  1. 聞いて頂いてありがとうございます。 m(_)m
    QUESもとってもよいイベントなので、もっと盛り上がるといいですね。
    応援してますよ! (^_^)v

    1. 西先生、当記事を見てくださってありがとうございます。
      ご講演の内容が私にとって非常に身近ですが必ず取り組むべき課題になっていました。そんな中で拝聴できたのが非常に有益でした。これから伺ったことを活かします!ありがとうごさいます。

ただいまコメントは受け付けていません。