どちらかを持っている方が良いですか

• 同じテストが成功する確定的なテストスイート
• 非決定的テストスイート。これは、より多くのケースをカバーする可能性があります。

？

例： テストスイートを作成して、MVCアプリケーションのコントローラー機能をテストします。コントローラーは、テスト中の入力としてデータベースからのアプリケーションデータを必要とします。これを行うには2つのオプションがあります。

• テストデータベースのどの行を入力として選択するかをハードコーディングします（10行目と412行目など）
• 乱数ジェネレーターを使用して、データベースからデータを擬似ランダムに選択します（乱数ジェネレーターによって選択された2行）

1つ目は決定論的です。同じリビジョンのコードに対してテストを実行するたびに、同じ結果が得られます。2番目は非決定的です。テストスイートを実行するたびに、異なる結果が得られる可能性があります。ただし、ランダムに選択されたデータは、データエッジケースのより適切な表現である可能性があります。予測不可能なデータをコントローラーに送るユーザーをよりよくシミュレートするかもしれません。

どちらか一方を選択する理由は何ですか？

テストスイートを実行するたびに異なる結果が得られる可能性がある場合、テストはほぼ完全に価値がありません。スイートでバグが表示された場合、再現できない可能性が高く、修正しようとするとバグ、修正が機能するかどうかを確認できません。

したがって、テストデータの生成に何らかの種類の乱数ジェネレーターを使用する必要があると思われる場合は、ジェネレーターを常に同じシードで初期化するか、テストにフィードする前にランダムテストデータをファイルに保存してください。そのため、以前の実行とまったく同じデータでテストを再実行できます。このようにして、非決定論的テストを決定論的テストに変換できます。

編集：乱数ジェネレーターを使用していくつかのテストデータを選択することは、良いテストデータを選択するのが面倒だという兆候です。100,000のランダムに選択されたテスト値をスローする代わりに、これが偶然すべての重大なバグを発見し、脳をよりよく使用し、10から20の「興味深い」ケースを選択し、テストスイートに使用するのに十分であることを願っています。これにより、テストの品質が向上するだけでなく、スイートのパフォーマンスが大幅に向上します。

決定論的と非決定論的の両方に場所があります

次のように分割します。

単体テスト。

これらには、毎回まったく同じデータを使用した確定的で反復可能なテストが必要です。単体テストは、特定の分離されたコードセクションに付随し、確定的な方法でテストする必要があります。

機能および入力ストレステスト。

これらは、以下の警告を伴う非決定的アプローチを使用できます。

• その事実は明確に描かれ、呼び出されています
• 選択されたランダムな値はログに記録され、手動で再試行できます

どちらも。

決定論的テストと非決定論的テストには、異なるユースケースとスイートに対する異なる値があります。一般的に非決定論決定論テストと同じ精度を提供することはできません。これは誤りです。それらはそれほど正確ではないかもしれませんが、はるかに広くなる可能性があり、独自の利点があります。

例を見てみましょう。整数のリストをソートする関数を作成します。あなたが有用だと思う決定論的な単体テストは何でしょうか？

• 空のリスト
• 要素が1つだけのリスト
• すべて同じ要素のリスト
• 複数の一意の要素を持つリスト
• いくつかが重複している複数の要素を持つリスト
• とリストNaN、INT_MINとINT_MAX
• すでに部分的にソートされているリスト
• 10,000,000要素のリスト

そして、それは単なるソート関数です！確かに、これらのいくつかは不必要である、またはこれらのいくつかは非公式の推論で除外できると主張することができます。しかし、私たちはエンジニアであり、非公式の推論が顔を出しているのを見てきました。私たちは、構築したシステムを完全に理解したり、頭の中で複雑さを完全に維持したりするほど頭が良くないことを知っています。そもそもテストを書く理由です。非決定論的なテストを追加することは、事前に良いテストのすべてを知るのに必ずしも十分に賢くないかもしれないと言うだけです。セミランダムデータを関数にスローすることで、見落としたエッジケースを見つける可能性が高くなります。

もちろん、それは決定論的なテストも除外しません。非決定論的なテストは、プログラムの膨大な範囲でバグを見つけるのに役立ちます。ただし、バグを発見したら、それを修正したことを示す再現可能な方法が必要です。そう：

• コードのバグを見つけるには、非決定的テストを使用します。
• 確定的テストを使用して、コードの修正を確認します。

これは、単体テストに関する多くの堅実なアドバイスが必ずしも非決定論的なテストに適用されるわけではないことに注意してください。たとえば、高速でなければなりません。低レベルのプロパティテストは高速である必要がありますが、「ユーザーがWebサイトのボタンをランダムにクリックしてシミュレートし、500エラーが発生しないことを確認する」などの非決定的テストは、速度よりも包括性を優先する必要があります。ビルドプロセスとは独立して実行するようなテストを行うだけで、開発が遅くなることはありません。たとえば、専用のステージングボックスで実行します。

あなたは本当に決定論的対非決定論的が欲しくありません。

あなたが望むのは、「常に同じ」対「常に同じではない」です。

たとえば、ビルドごとにビルド番号が増える場合があります。また、乱数が必要な場合は、ビルド番号をシードとして乱数ジェネレーターを初期化します。そのため、ビルドごとに異なる値でテストを行い、バグを発見する機会を増やします。

ただし、バグが見つかったら、同じビルド番号でテストを実行するだけで、再現性があります。