開発アプローチ/ソフトウェアアーキテクチャの評価に理想的な参加者数

私の論文では、特定のプラットフォーム向けのアプリケーションの開発と適応を容易にするための開発手法（スキーム、アプリケーションテンプレート、およびプロトタイプコードで構成される）を作成しました。

私はそのアプローチを評価するために、そのプラットフォームの開発者にインタビューを行いました。これまでに5人のインタビュー対象者があり、彼らから得たフィードバックは私のスコープには十分だと思います。

しかし、私の論文では、5人の評価者で十分であるという私の決定を正当化したいと思います。そのようなかなり理論的なアプローチに対して特定の数の評価者を示唆する科学的研究や論文はありますか？

Nielsenがヒューリスティックなユーザビリティ評価について取り組んでいることを知っています。参加者が5人の場合、ソフトウェアのユーザビリティ/ UIテストにおけるすべての問題の約75％を発見できるということです。

しかし、先ほど述べたように、私のアプローチは評価が必要な特定のソフトウェア製品ではなく、モデル自体だけなので、その分野での研究を求めています。

「そのようなかなり理論的なアプローチに対して特定の数の評価者を示唆する科学的研究や論文はありますか？」

実験の正しいサンプルサイズを計算する統計的方法があります。
この方法は「電力分析」と呼ばれます[1]。実験の結果が統計的に有意であることを確認するために必要な最小サンプルサイズを計算します。このアプローチは、少なくとも2つのグループがあることを前提としています。コントロールグループと実験グループ（つまり、コントロールグループは変更なしでプラットフォームを使用し、実験グループは変更後のプラットフォームを使用します）。

したがって、正しいサンプルサイズを計算する科学的なプロセスはありますが、このアプローチはおそらく研究にとって過剰です。Nielsen [2]は、ヒューリスティック評価は評価を簡単にするための「安くて迅速な」方法にすぎないと述べています。そのため、ニールセンを引用することで、サンプルサイズ5を正当化できると思います。ただし、評価プロセスを標準化し、統計的アプローチを使用したい場合は、電力分析を検討することをお勧めします。

パワーを計算するためのこのオンラインツールに興味があるかもしれません。

1. http://en.wikipedia.org/wiki/Statistical_power
2. http://www.nngroup.com/topic/heuristic-evaluation/