スレッド化されたコードを単体テストするにはどうすればよいですか?


704

マルチスレッドコードをテストするという悪夢は、地雷のように思えるので、これまでは避けてきました。スレッドに依存して実行が成功するコードのテストに人々がどのように取り組んでいるのか、または2つのスレッドが特定の方法で相互作用するときにのみ表示される種類の問題のテストにどのように取り組んでいるのかを尋ねたいのですが。

これは、今日のプログラマーにとって本当に重要な問題のようです。この1つの私見に関する知識をプールしておくと役に立ちます。


2
私はこのまったく同じ問題について質問を投稿することを考えていました。ウィルは多くの優れた点を以下に示しますが、私たちはもっとうまくやれると思います。私はこれをきれいに扱うための単一の「アプローチ」がないことに同意します。ただし、「できる限りテストする」とは、基準を非常に低く設定することです。私の調査結果とともに戻ります。
ザックバーリンゲーム、

Javaの場合:パッケージjava.util.concurrentには、確定的JUnit-Testsの記述に役立つ可能性のあるいくつかの既知の不正なクラスが含まれています。-見ていたCountDownLatchを - セマフォ - 交換
Synox

以前の単体テスト関連の質問へのリンクを提供していただけますか?
Andrew Grimm、


7
この質問は8年前のものであり、その間にアプリケーションライブラリはかなり長い道のりを進んでいることに注意することが重要だと思います。「現代」(2016)では、マルチスレッド開発は主に組み込みシステムで登場します。ただし、デスクトップまたは電話アプリで作業している場合は、最初に別の方法を検討してください。.NETのようなアプリケーション環境には、一般的なマルチスレッドシナリオのおそらく90%を管理または大幅に簡素化するツールが含まれています。(asnync / await、PLinq、IObservable、TPL ...)。マルチスレッドのコードは難しいです。ホイールを再発明しない場合は、再テストする必要はありません。
ポールウィリアムズ

回答:


245

見て、これを行う簡単な方法はありません。私は本質的にマルチスレッドのプロジェクトに取り組んでいます。イベントはオペレーティングシステムから送られてくるので、同時に処理する必要があります。

複雑なマルチスレッドアプリケーションコードのテストを処理する最も簡単な方法は、次のとおりです。テストが複雑すぎて、テストが間違っています。複数のスレッドが動作する単一のインスタンスがあり、これらのスレッドが互いに重なり合っている状況をテストできない場合は、デザインをやり直す必要があります。これと同じくらいシンプルで複雑です。

複数のインスタンスを同時に実行するスレッドを回避するマルチスレッド化をプログラミングする方法は多数あります。最も簡単なのは、すべてのオブジェクトを不変にすることです。もちろん、それは通常不可能です。したがって、スレッドが同じインスタンスと相互作用するデザイン内の場所を特定し、それらの場所の数を減らす必要があります。これを行うことにより、マルチスレッドが実際に発生するいくつかのクラスを分離し、システムのテストの全体的な複雑さを軽減します。

しかし、これを行っても、2つのスレッドが互いに踏み込むすべての状況をテストできるわけではないことを理解する必要があります。そのためには、同じテストで2つのスレッドを同時に実行し、特定の瞬間に実行する行を正確に制御する必要があります。あなたができる最善のことは、この状況をシミュレートすることです。しかし、これはテストのために特別にコーディングする必要があるかもしれません、そしてそれは真の解決へのせいぜい半分のステップです。

おそらく、スレッドの問題についてコードをテストする最良の方法は、コードの静的分析によるものです。スレッド化されたコードがスレッドセーフパターンの有限セットに従っていない場合は、問題が発生している可能性があります。VSのコード分析にはスレッド化に関するある程度の知識が含まれていると思いますが、おそらくそれほど多くはありません。

状況が現状のままである(そして、おそらくこれから良い時期になるだろう)ので、マルチスレッドアプリをテストする最善の方法は、スレッドコードの複雑さをできるだけ減らすことです。スレッドが相互作用する領域を最小限に抑え、可能な限りテストし、コード分析を使用して危険な領域を特定します。


1
コード分​​析は、それを可能にする言語/フレームワークを扱う場合に最適です。EG:Findbugsは、静的変数に関する非常にシンプルで簡単な共有同時実行の問題を検出します。見つからないのはシングルトンデザインパターンです。すべてのオブジェクトを複数回作成できると想定しています。このプラグインは、Springのようなフレームワークにはひどく不適切です。
ゾンビ

3
実際に治療法があります:アクティブオブジェクト。drdobbs.com/parallel/prefer-using-active-objects-instead-of-n/...
ディル

6
これは良いアドバイスですが、「複数のスレッドが必要な最小限の領域をどのようにテストするのですか?」
ブライアンレイナー

5
「テストするのが複雑すぎると、あなたはそれを間違っています」-私たちは皆、私たちが書いていないレガシーコードに飛び込む必要があります。この観察はどのように正確に誰を助けますか?
Ronna

2
静的分析は良い考えですが、テストではありません。この投稿は実際には、テスト方法に関する質問には答えません。
ウォーレンデュー

96

この質問が投稿されたのは久しぶりですが、まだ回答がありません...

kleolb02の答えは良いものです。詳細を調べてみます。

C#コード用に練習する方法があります。単体テストの場合、マルチスレッドコードで最大の課題である再現可能なテストをプログラミングできる必要があります。働くテストハーネス、に非同期コードを強制的に向けて私の答えを目指しので、同期

これはGerard Meszardosの著書「xUnit Test Patterns」からのアイデアであり、「Humble Object」(p。695 )と呼ばれています。コアロジックコードと、非同期コードのような匂いがするものを分離する必要があります。これにより、同期して動作するコアロジックのクラスが生成されます。

これにより、コアロジックコードを同期的にテストすることができます。コアロジックで実行する呼び出しのタイミングを完全に制御できるため、再現可能なテストを実行できます。これは、コアロジックと非同期ロジックを分離することで得られるメリットです。

このコアロジックは、コアロジックへの呼び出しを非同期的に受信し、これらの呼び出しをコアロジックに委任する別のクラスによってラップされる必要があります。量産コードは、そのクラスを介してコアロジックにのみアクセスします。このクラスは呼び出しを委譲するだけなので、あまりロジックがない非常に「ダム」なクラスです。したがって、この非同期ワーキングクラスのユニットテストを最小限に保つことができます。

その上(クラス間の相互作用のテスト)はコンポーネントテストです。この場合も、「謙虚なオブジェクト」パターンに固執すれば、タイミングを完全に制御できるはずです。


1
しかし、スレッドが互いにうまく連携する場合は、何かをテストする必要もありますよね?間違いなく、私はあなたの答えを読んだ後、コアロジックを非同期部分から分離します。しかし、私はまだ、work-on-all-threads-have-been-doneコールバックを備えた非同期インターフェースを介してロジックをテストします。
CopperCash 2015

マルチプロセッサシステムについてはどうですか?
Technophile

65

確かにタフなもの!私の(C ++)単体テストでは、これを、使用する同時実行パターンのラインに沿っていくつかのカテゴリに分類しました。

  1. シングルスレッドで動作し、スレッドに対応していないクラスの単体テスト-通常どおり、簡単にテストできます。

  2. 同期されたパブリックAPIを公開するMonitorオブジェクト(呼び出し元の制御スレッドで同期されたメソッドを実行するオブジェクト)の単体テスト-APIを実行する複数のモックスレッドをインスタンス化します。パッシブオブジェクトの内部条件を実行するシナリオを作成します。基本的に、複数のスレッドから長期間にわたって問題を解決する、より長い実行中のテストを1つ含めます。これは私が知っている非科学的ですが、自信を構築します。

  3. アクティブオブジェクト(独自のスレッドまたは制御のスレッドをカプセル化するオブジェクト)の単体テスト-上記の#2と同様に、クラスの設計に応じてバリエーションがあります。パブリックAPIはブロックまたは非ブロックである場合があり、呼び出し元はフューチャーを取得する場合があり、データがキューに到着するか、またはデキューする必要がある場合があります。ここでは多くの組み合わせが可能です。離れたホワイトボックス。テスト対象のオブジェクトを呼び出すには、複数のモックスレッドが必要です。

余談として:

私が行う内部開発者トレーニングでは、並行性とこれら2つのパターンを、並行性の問題を考えて分解するための主要なフレームワークとして教えています。明らかにより高度な概念がありますが、この基本セットがエンジニアをスープから遠ざけるのに役立つことがわかりました。また、上記のように、よりユニットテスト可能なコードにつながります。


51

いくつかのプロジェクトのスレッド処理コードを書くときに、私はこの問題に近年何度か直面しました。他の回答のほとんどは代替案を提供していますが、テストに関する質問には実際には回答しないため、私は遅い回答を提供しています。私の答えは、マルチスレッドコードに代わるものがない場合に対処しています。完全を期すためにコード設計の問題を取り上げますが、単体テストについても説明します。

テスト可能なマルチスレッドコードの記述

最初に行うことは、実際のデータ処理を行うすべてのコードから本番スレッド処理コードを分離することです。このようにして、データ処理をシングルスレッドコードとしてテストできます。マルチスレッドコードで行うことは、スレッドを調整することだけです。

2番目に覚えておかなければならないのは、マルチスレッドコードのバグは確率論的であることです。発生頻度が最も低いバグは、本番環境に忍び込み、本番環境でさえ再現することが困難であるため、最大の問題を引き起こします。このため、コードをすばやく記述し、機能するまでデバッグするという標準的なコーディングアプローチは、マルチスレッドコードには適していません。簡単なバグが修正され、危険なバグがまだ残っているコードになります。

代わりに、マルチスレッドコードを作成するときは、最初からバグを作成しないようにする姿勢でコードを作成する必要があります。データ処理コードを適切に削除した場合、スレッド処理コードは十分に小さく(できれば数行、最低でも数十行)して、バグを書かずに、そして多くのバグを書かずに書くことができるようにします。 、スレッドを理解している場合は、時間をかけて注意してください。

マルチスレッドコードの単体テストの記述

マルチスレッドコードをできる限り慎重に作成した後でも、そのコードのテストを作成することには価値があります。テストの主な目的は、非常にタイミングに依存する競合状態のバグをテストすることではなく、そのような競合状態を繰り返しテストすることは不可能ですが、そのようなバグを防ぐためのロック戦略により、複数のスレッドが意図したとおりに相互作用できることをテストすることです。

正しいロック動作を適切にテストするには、テストで複数のスレッドを開始する必要があります。テストを再現可能にするために、スレッド間の相互作用が予測可能な順序で発生するようにします。テストでスレッドを外部同期させたくないのは、スレッドが外部同期されていない本番環境で発生する可能性のあるバグを隠すためです。これにより、スレッドの同期にタイミング遅延を使用することができます。これは、マルチスレッドコードのテストを作成する必要が生じたときに常に使用してきた手法です。

遅延が短すぎると、テストが壊れやすくなります。テストが実行される可能性のある異なるマシン間などのわずかなタイミングの違いにより、タイミングがずれてテストが失敗する可能性があるためです。私が通常行っていることは、テストの失敗の原因となる遅延から開始し、遅延を増やしてテストが開発マシンで確実にパスするようにし、その後、遅延を2倍にして、テストが他のマシンにパスする可能性を高めます。これは、テストが巨視的な時間を要することを意味しますが、私の経験では、注意深いテスト設計により、その時間を12秒以内に制限できます。アプリケーションでスレッド調整コードを必要とする場所はそれほど多くないはずなので、テストスイートではそれで十分です。

最後に、テストで検出されたバグの数を追跡します。テストのコードカバレッジが80%の場合、バグの約80%をキャッチすることが期待できます。テストが適切に設計されていてもバグが見つからない場合、本番環境でのみ発生する追加のバグがない可能性は十分にあります。テストで1つまたは2つのバグが検出された場合でも、幸運になる可能性があります。それを超えて、コードを慎重に確認するか、スレッド処理コードの完全な書き直しを検討することをお勧めします。コードには、コードが本稼働するまで見つけるのが非常に困難で、その後修正するのは難しい。


3
テストでは、バグの存在ではなく、バグの存在のみを明らかにできます。元の質問は2スレッドの問題について尋ねています。この場合、徹底的なテストが可能かもしれませんが、そうでない場合がよくあります。最も単純なシナリオ以外の場合は、弾丸を噛んで正式な方法を使用する必要がありますが、単体テストはスキップしないでください。正しいマルチスレッドコードを作成することはそもそも難しいですが、同様に難しい問題が、回帰に対する将来の保証です。
ポールウィリアムズ

4
最も理解されていない方法の1つの素晴らしい要約。あなたの答えは、一般にpplが見落としている実際の分離に強引です。
16

1
その長さのテストが数百しかない場合でも、12秒はかなり長い時間です...
Toby Speight

1
@TobySpeight通常の単体テストと比較すると、テストは長くなります。スレッド化されたコードが可能な限りシンプルになるように適切に設計されている場合は、6ダースのテストで十分であることがわかりました。ただし、数百のマルチスレッドテストが必要な場合は、スレッドの構成が非常に複雑であることを示しています。
Warren Dew

2
これは、スレッドロジックを機能から可能な限り分離できるようにするための良い議論です(わかっています。そして、可能であれば、テストスイートを「変更ごと」と「コミット前」のセットに分割します(そのため、分単位のテストはあまり影響を受けません)。
Toby Speight

22

マルチスレッドコードのテストにも深刻な問題がありました。その後、Gerard Meszarosによる「xUnit Test Patterns」で本当にクールなソリューションを見つけました。彼が説明するパターンは、「謙虚なオブジェクト」と呼ばれます

基本的には、ロジックをその環境から切り離されたテストが容易な個別のコンポーネントに抽出する方法について説明します。このロジックをテストしたら、複雑な動作(マルチスレッド、非同期実行など)をテストできます。


20

かなり良いツールがいくつかあります。Javaのいくつかの要約を以下に示します。

いくつかの優れた静的分析ツールには、FindBugs(いくつかの有用なヒントが表示されます)、JLintJava Pathfinder(JPF&JPF2)、Bogorなどがあります。

MultithreadedTCは非常に優れた動的分析ツール(JUnitに統合)であり、独自のテストケースを設定する必要があります。

IBM ResearchのConTestは興味深いものです。あらゆる種類のスレッド変更動作(たとえば、スリープと利回り)を挿入してコードを計測し、バグをランダムに発見しようとします。

SPINは、Java(およびその他の)コンポーネントをモデル化するための本当にクールなツールですが、いくつかの有用なフレームワークが必要です。そのまま使うのは難しいですが、使い方がわかれば非常に強力です。かなりの数のツールが内部でSPINを使用しています。

MultithreadedTCはおそらく最も主流ですが、上記の静的分析ツールのいくつかは一見の価値があります。


16

待機時間は、確定的単体テストの作成にも役立ちます。システムのどこかの状態が更新されるまで待つことができます。例えば:

await().untilCall( to(myService).myMethod(), greaterThan(3) );

または

await().atMost(5,SECONDS).until(fieldIn(myObject).ofType(int.class), equalTo(1));

ScalaとGroovyのサポートもあります。

await until { something() > 4 } // Scala example

1
才能は素晴らしいです-私が探していたものとまったく同じです!
Forge_7 2016年

14

スレッド化されたコード、および一般に非常に複雑なシステムを(ちょっと)テストする別の方法は、ファズテストを使用することです。それは素晴らしいものではなく、すべてを見つけることはできませんが、有用であり、実行するのは簡単です。

見積もり:

ファズテストまたはファジングは、プログラムの入力にランダムデータ(「ファズ」)を提供するソフトウェアテスト手法です。プログラムが失敗した場合(たとえば、クラッシュしたり、組み込みのコードアサーションが失敗したりした場合)、欠陥を記録できます。ファズテストの大きな利点は、テストの設計が非常にシンプルで、システムの動作に関する先入観がないことです。

...

ファズテストは、ブラックボックステストを採用する大規模なソフトウェア開発プロジェクトでよく使用されます。これらのプロジェクトには通常、テストツールを開発するための予算があり、ファズテストは、費用対効果の高いメリットを提供する手法の1つです。

...

ただし、ファズテストは、完全なテストや正式な方法の代わりにはなりません。システムの動作のランダムなサンプルしか提供できず、多くの場合、ファズテストに合格すると、ソフトウェアではなく、クラッシュせずに例外が処理されることを示す場合があります。正しく動作します。したがって、ファズテストは、品質を保証するものではなく、バグ検出ツールと見なすことができます。


13

私はこれをたくさんやった、そしてそれはうんざりだ。

いくつかのヒント:

  • 複数のテストスレッドを実行するためのGroboUtils
  • alphaWorks ConTestを使用してクラスを計測し、反復間でインターリーブを変化させる
  • throwableフィールドを作成してチェックインしますtearDown(リスト1を参照)。別のスレッドで不正な例外をキャッチした場合は、その例外をスロー可能オブジェクトに割り当ててください。
  • リスト2でutilsクラスを作成しましたが、特にwaitForVerifyとwaitForConditionが非常に貴重であることがわかりました。これにより、テストのパフォーマンスが大幅に向上します。
  • AtomicBooleanテストで活用してください。これはスレッドセーフであり、コールバッククラスなどからの値を格納するために、最終的な参照型が必要になることがよくあります。リスト3の例を参照してください。
  • @Test(timeout=60*1000)並行性テストが壊れた場合、並行性テストが永久にハングすることがあるので、必ずテストにタイムアウトを指定してください(例:)。

リスト1:

@After
public void tearDown() {
    if ( throwable != null )
        throw throwable;
}

リスト2:

import static org.junit.Assert.fail;
import java.io.File;
import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Proxy;
import java.util.Random;
import org.apache.commons.collections.Closure;
import org.apache.commons.collections.Predicate;
import org.apache.commons.lang.time.StopWatch;
import org.easymock.EasyMock;
import org.easymock.classextension.internal.ClassExtensionHelper;
import static org.easymock.classextension.EasyMock.*;

import ca.digitalrapids.io.DRFileUtils;

/**
 * Various utilities for testing
 */
public abstract class DRTestUtils
{
    static private Random random = new Random();

/** Calls {@link #waitForCondition(Integer, Integer, Predicate, String)} with
 * default max wait and check period values.
 */
static public void waitForCondition(Predicate predicate, String errorMessage) 
    throws Throwable
{
    waitForCondition(null, null, predicate, errorMessage);
}

/** Blocks until a condition is true, throwing an {@link AssertionError} if
 * it does not become true during a given max time.
 * @param maxWait_ms max time to wait for true condition. Optional; defaults
 * to 30 * 1000 ms (30 seconds).
 * @param checkPeriod_ms period at which to try the condition. Optional; defaults
 * to 100 ms.
 * @param predicate the condition
 * @param errorMessage message use in the {@link AssertionError}
 * @throws Throwable on {@link AssertionError} or any other exception/error
 */
static public void waitForCondition(Integer maxWait_ms, Integer checkPeriod_ms, 
    Predicate predicate, String errorMessage) throws Throwable 
{
    waitForCondition(maxWait_ms, checkPeriod_ms, predicate, new Closure() {
        public void execute(Object errorMessage)
        {
            fail((String)errorMessage);
        }
    }, errorMessage);
}

/** Blocks until a condition is true, running a closure if
 * it does not become true during a given max time.
 * @param maxWait_ms max time to wait for true condition. Optional; defaults
 * to 30 * 1000 ms (30 seconds).
 * @param checkPeriod_ms period at which to try the condition. Optional; defaults
 * to 100 ms.
 * @param predicate the condition
 * @param closure closure to run
 * @param argument argument for closure
 * @throws Throwable on {@link AssertionError} or any other exception/error
 */
static public void waitForCondition(Integer maxWait_ms, Integer checkPeriod_ms, 
    Predicate predicate, Closure closure, Object argument) throws Throwable 
{
    if ( maxWait_ms == null )
        maxWait_ms = 30 * 1000;
    if ( checkPeriod_ms == null )
        checkPeriod_ms = 100;
    StopWatch stopWatch = new StopWatch();
    stopWatch.start();
    while ( !predicate.evaluate(null) ) {
        Thread.sleep(checkPeriod_ms);
        if ( stopWatch.getTime() > maxWait_ms ) {
            closure.execute(argument);
        }
    }
}

/** Calls {@link #waitForVerify(Integer, Object)} with <code>null</code>
 * for {@code maxWait_ms}
 */
static public void waitForVerify(Object easyMockProxy)
    throws Throwable
{
    waitForVerify(null, easyMockProxy);
}

/** Repeatedly calls {@link EasyMock#verify(Object[])} until it succeeds, or a
 * max wait time has elapsed.
 * @param maxWait_ms Max wait time. <code>null</code> defaults to 30s.
 * @param easyMockProxy Proxy to call verify on
 * @throws Throwable
 */
static public void waitForVerify(Integer maxWait_ms, Object easyMockProxy)
    throws Throwable
{
    if ( maxWait_ms == null )
        maxWait_ms = 30 * 1000;
    StopWatch stopWatch = new StopWatch();
    stopWatch.start();
    for(;;) {
        try
        {
            verify(easyMockProxy);
            break;
        }
        catch (AssertionError e)
        {
            if ( stopWatch.getTime() > maxWait_ms )
                throw e;
            Thread.sleep(100);
        }
    }
}

/** Returns a path to a directory in the temp dir with the name of the given
 * class. This is useful for temporary test files.
 * @param aClass test class for which to create dir
 * @return the path
 */
static public String getTestDirPathForTestClass(Object object) 
{

    String filename = object instanceof Class ? 
        ((Class)object).getName() :
        object.getClass().getName();
    return DRFileUtils.getTempDir() + File.separator + 
        filename;
}

static public byte[] createRandomByteArray(int bytesLength)
{
    byte[] sourceBytes = new byte[bytesLength];
    random.nextBytes(sourceBytes);
    return sourceBytes;
}

/** Returns <code>true</code> if the given object is an EasyMock mock object 
 */
static public boolean isEasyMockMock(Object object) {
    try {
        InvocationHandler invocationHandler = Proxy
                .getInvocationHandler(object);
        return invocationHandler.getClass().getName().contains("easymock");
    } catch (IllegalArgumentException e) {
        return false;
    }
}
}

リスト3:

@Test
public void testSomething() {
    final AtomicBoolean called = new AtomicBoolean(false);
    subject.setCallback(new SomeCallback() {
        public void callback(Object arg) {
            // check arg here
            called.set(true);
        }
    });
    subject.run();
    assertTrue(called.get());
}

2
タイムアウトは良い考えですが、テストがタイムアウトした場合、その実行でのその後の結果は疑わしいものです。タイムアウトしたテストでは、まだいくつかのスレッドが実行されている可能性があり、それがユーザーを混乱させる可能性があります。
Don Kirkby、

12

MTコードの正当性をテストすることは、すでに述べたように、かなり難しい問題です。結局のところ、コード内で誤って同期されたデータの競合がないことを確認することになります。これの問題は、スレッドの実行(インターリーブ)の可能性が無限にあり、それを制御できないことです(ただし、この記事を必ずお読みください)。単純なシナリオでは、推論によって実際に正しさを証明することが可能かもしれませんが、これは通常そうではありません。特に、同期を回避/最小化し、最も明白/最も簡単な同期オプションを選択しない場合。

私が従うアプローチは、潜在的に検出されないデータ競合が発生する可能性を高くするために、高度な並行テストコードを記述することです。そして、それらのテストをしばらく実行します:)私はかつて、ある種のコンピュータ科学者がこれを行うツールを見せびらかした話に偶然出会いました(仕様からテストをランダムに考案し、同時に乱暴に実行して、定義された不変条件をチェックします)壊れる)。

ちなみに、MTコードをテストするこの側面についてはここでは触れていません。ランダムにチェックできるコードの不変条件を特定します。残念ながら、それらの不変条件を見つけることも非常に難しい問題です。また、実行中は常に保持されない可能性があるため、それらが真であると期待できる実行ポイントを見つけて適用する必要があります。コードの実行をそのような状態にすることも難しい問題です(そしてそれ自体が同時実行性の問題を引き起こす可能性があります。

読むべきいくつかの興味深いリンク:


著者はテストにおける無作為化について言及しています。それは、多くの言語に移植されたQuickCheckかもしれません。このような並行システムのテストについての講演は、こちらでご覧いただけます
最大

6

Pete Goodliffeが、スレッド化されたコードの単体テストに関するシリーズを公開しています。

それは難しい。私はより簡単な方法を取り、スレッド化コードを実際のテストから抽象化したままにします。ピートは私がそれをする方法は間違っていると述べていますが、私は分離を正しく行ったか、私は幸運でした。


6
これまでに公開された2つの記事を読みましたが、あまり役に立ちませんでした。彼は具体的なアドバイスをせずに、困難について話すだけです。たぶん、将来の記事は改善されるでしょう。
ドンカークビー

6

Javaの場合は、JCIPの第12章を確認してください。並行コードの正確性と不変量を少なくともテストするために、確定的マルチスレッドユニットテストを作成する具体的な例がいくつかあります。

ユニットテストでスレッドセーフを「証明する」ことは、はるかに厄介です。私の考えでは、これはさまざまなプラットフォーム/構成での自動化された統合テストによって提供される方がよいと考えています。


6

並列スレッドで実行する2つ以上のテストメソッドを記述し、それぞれがテスト対象のオブジェクトを呼び出します。さまざまなスレッドからの呼び出しの順序を調整するためにSleep()呼び出しを使用してきましたが、それは本当に信頼できません。また、通常はタイミングが機能するのに十分な長さの睡眠をとる必要があるため、速度もかなり遅くなります。

FindBugsを書いたのと同じグループからマルチスレッドTC Javaライブラリを見つけました。Sleep()を使用せずにイベントの順序を指定できるため、信頼性が高くなります。まだ試していません。

このアプローチの最大の制限は、問題が発生する可能性があると疑われるシナリオのみをテストできることです。他の人が言ったように、マルチスレッド化されたコードを少数の単純なクラスに分離して、それらを徹底的にテストすることを期待する必要があります。

問題が発生すると予想されるシナリオを慎重にテストしたら、しばらくの間クラスで多数の同時要求をスローする非科学的なテストは、予期しない問題を探すための良い方法です。

更新:マルチスレッドのTC Javaライブラリを少し試してみましたが、うまく機能します。また、その機能の一部をTickingTestと呼ぶ.NETバージョンに移植しました。


5

スレッド化されたコンポーネントの単体テストは、あらゆる単体テストと同じように処理します。つまり、制御フレームワークと分離フレームワークを反転させます。私は.Netアリーナで開発しており、箱から出して(特に)スレッドを完全に分離するのは非常に困難です(ほとんど不可能と言っていいでしょう)。

したがって、次のようなラッパーを作成しました(簡略化)。

public interface IThread
{
    void Start();
    ...
}

public class ThreadWrapper : IThread
{
    private readonly Thread _thread;

    public ThreadWrapper(ThreadStart threadStart)
    {
        _thread = new Thread(threadStart);
    }

    public Start()
    {
        _thread.Start();
    }
}

public interface IThreadingManager
{
    IThread CreateThread(ThreadStart threadStart);
}

public class ThreadingManager : IThreadingManager
{
    public IThread CreateThread(ThreadStart threadStart)
    {
         return new ThreadWrapper(threadStart)
    }
}

そこから簡単にIThreadingManagerをコンポーネントに挿入し、選択した分離フレームワークを使用して、テスト中にスレッドが期待どおりに動作するようにすることができます。

これまでのところ、私にとってはうまくいきました。私は、スレッドプール、System.Environment、Sleepなどの同じアプローチを使用しています。


5

私の関連する答えを見てください

カスタムバリアのテストクラスの設計

それはJavaに偏っていますが、オプションの合理的な要約があります。

要約すると(IMO)は、正確さを保証するいくつかの豪華なフレームワークを使用するのではなく、マルチスレッドコードの設計をどのように行うかです。懸念事項(同時実行性と機能性)を分割することは、信頼を高めるための大きな方法です。テストによって導かれる成長するオブジェクト指向ソフトウェアは、私ができるよりもいくつかのオプションを説明しています。

静的分析と正式なメソッド(「同時実行性:状態モデルとJavaプログラム」を参照)はオプションですが、商業開発での使用は限定的であることがわかりました。

ロード/ソークスタイルのテストでは、問題を強調することがほとんど保証されていないことを忘れないでください。

幸運を!


tempus-fugitここであなたのライブラリにも言及する必要がありますhelps write and test concurrent code;)
Idolon

4

最近、(Java用に)Threadsafeと呼ばれるツールを発見しました。これは、findbugsによく似た静的分析ツールですが、特にマルチスレッドの問題を見つけるためのものです。これはテストの代わりではありませんが、信頼できるマルチスレッドJavaを作成する一環として推奨できます。

また、クラスの包摂、並行クラスを介した安全でないオブジェクトへのアクセス、ダブルチェックロックパラダイムの使用時に欠落している揮発性修飾子の発見など、非常に微妙な潜在的な問題も捕捉します。

マルチスレッドJava 作成する場合は、試してみてください


3

次の記事は2つのソリューションを提案しています。セマフォをラップし(CountDownLatch)、内部スレッドからデータを外部化するなどの機能を追加します。この目的を達成するもう1つの方法は、スレッドプールを使用することです(「要点」を参照)。

スプリンクラー-高度な同期オブジェクト


3
ここでアプローチを説明してください、外部リンクは将来死んでしまうかもしれません。
Uooo 2013

2

先週のほとんどを大学の図書館で過ごし、並行コードのデバッグについて研究しました。中心的な問題は、並行コードが非決定的であることです。通常、アカデミックデバッグは次の3つのキャンプの1つに分類されます。

  1. イベントトレース/再生。これには、イベントモニターと、送信されたイベントの確認が必要です。UTフレームワークでは、テストの一部として手動でイベントを送信し、事後レビューを行う必要があります。
  2. スクリプト可能。ここで、一連のトリガーを使用して実行中のコードを操作します。"x> foo、baz()"。これは、ランタイムシステムが特定の条件で特定のテストをトリガーするUTフレームワークに解釈される可能性があります。
  3. インタラクティブ。これは明らかに自動テストの状況では機能しません。;)

これで、上記のコメンテーターが気づいたように、並行システムをより確定的な状態に設計できます。ただし、これを適切に行わない場合は、シーケンシャルシステムの設計に戻ります。

私の提案は、何がスレッド化され、何がスレッド化されないかについて、非常に厳密な設計プロトコルに集中することです。要素間の依存関係が最小限になるようにインターフェースを制約すると、はるかに簡単になります。

頑張って、問題に取り組み続けてください。


2

スレッド化されたコードをテストするという残念な仕事がありましたが、これは間違いなく私が書いた中で最も難しいテストです。

テストを作成するとき、デリゲートとイベントを組み合わせて使用​​しました。基本的には、そのようなポーリングでPropertyNotifyChangedイベントを使用することがすべてです。WaitCallbackConditionalWaiter

これが最善の方法であったかどうかはわかりませんが、うまくいきました。


1

「マルチスレッド」コードのもとでは、

  • ステートフルで変更可能
  • AND複数のスレッドによって同時にアクセス/変更されます

言い換えれば、カスタムステートフルスレッドセーフクラス/メソッド/ユニットのテストについて話しているのです。

この獣はまれなので、まず最初に、それを書くためのすべての正当な言い訳があることを確認する必要があります。

手順1.同じ同期コンテキストで状態を変更することを検討してください。

今日では、IOなどの遅い操作がバックグラウンドにオフロードされているが、共有状態が1つの同期コンテキストで更新および照会される、構成可能な並行および非同期コードを簡単に作成できます。例:async / awaitタスクおよび.NETでのRxなど-これらはすべて設計によりテスト可能です。「実際の」タスクとスケジューラーを代わりに使用して、テストを確定的にすることができます(ただし、これは問題の範囲外です)。

非常に制約されているように聞こえるかもしれませんが、このアプローチは驚くほどうまく機能します。状態をスレッドセーフにする必要なく、このスタイルでアプリ全体を書くことができます(私はそうします)。

手順2.単一の同期コンテキストで共有状態を操作することが絶対に不可能である場合。

車輪が再発明されていないことを確認してください/仕事に適応できる標準的な代替手段がないことは間違いありません。コードは非常にまとまりがあり、1つのユニット内に含まれている可能性があります。たとえば、ハッシュマップやコレクションなどの標準的なスレッドセーフデータ構造の特殊なケースである可能性が高いです。

注:コードが大きい、または複数のクラスにまたがり、マルチスレッドの状態操作が必要な場合は、デザインが良くない可能性が非常に高いため、ステップ1を再検討してください

ステップ3.このステップに達した場合は、独自のカスタムステートフルスレッドセーフクラス/メソッド/ユニットをテストする必要があります。

私は正直に言うと、そのようなコードの適切なテストを書く必要はありませんでした。ほとんどの場合、ステップ1、時にはステップ2で離れます。最後にカスタムスレッドセーフコードを記述しなければならなかったのは、ユニットテストを採用する前であったため、おそらく記述する必要はなかったでしょう。とにかく現在の知識で。

私が本当にそのようなコードをテストしなければならなかった場合(最後に、実際の答え)、以下のことをいくつか試します

  1. 非決定論的ストレステスト。たとえば、100スレッドを同時に実行し、最終結果が一貫していることを確認します。これは、複数のユーザーのシナリオのより高いレベル/統合テストの場合により一般的ですが、ユニットレベルでも使用できます。

  2. 1つのスレッドが他のスレッドより先に操作を実行する必要がある決定論的なシナリオを作成するのに役立つコードを挿入できるテスト「フック」を公開します。醜いので、これ以上何も考えられません。

  3. スレッドを特定の順序で実行および実行させるための遅延駆動テスト。厳密に言えば、このようなテストも非決定的です(システムのフリーズ/ストップザワールドGCコレクションの可能性があり、他の方法で調整された遅延をゆがめる可能性があります)。また、醜いですが、フックを回避できます。


0

J2Eコードでは、スレッドの同時実行性テストにSilkPerformer、LoadRunner、およびJMeterを使用しました。彼らはすべて同じことをします。基本的に、TCP / IPデータストリームを分析し、アプリサーバーに同時にリクエストを行う複数のユーザーをシミュレートするために必要な、プロキシサーバーのバージョンを管理するための比較的シンプルなインターフェースを提供します。プロキシサーバーは、リクエストを処理した後、サーバーに送信されたページ全体とURL、およびサーバーからの応答を提示することにより、リクエストの分析などの機能を提供します。

安全でないhttpモードでいくつかのバグを見つけることができます。このモードでは、送信されるフォームデータを少なくとも分析し、それを各ユーザーに対して体系的に変更できます。しかし、真のテストは、https(Secured Socket Layers)で実行した場合です。次に、セッションとCookieデータを体系的に変更する必要がありますが、これは少し複雑になる場合があります。

私がこれまでに見つけた最大のバグは、並行性のテスト中に、開発者がログイン時に確立されたLDAPサーバーへの接続要求をJavaガベージコレクションに依存してログインしていることを発見したときでした。これにより、ユーザーが公開されました。他のユーザーのセッションと非常に紛らわしい結果に対して、サーバーが停止したときに何が起こったかを分析しようとすると、数秒ごとに1つのトランザクションをやっと完了することができません。

結局のところ、あなたや誰かが、たった今述べたようなコードの失敗を見つけて、コードを分析する必要があるでしょう。また、上記の問題を明らかにしたときに発生したような、部門間のオープンディスカッションが最も役立ちます。しかし、これらのツールはマルチスレッドコードをテストするための最良のソリューションです。JMeterはオープンソースです。SilkPerformerとLoadRunnerは独自仕様です。アプリがスレッドセーフであるかどうかを本当に知りたいのであれば、それが大物が行う方法です。私はこれを大企業で専門的に行ったので、私は推測していません。私は個人的な経験から話しています。

注意:これらのツールを理解するには時間がかかります。マルチスレッドプログラミングにある程度触れたことがない限り、ソフトウェアをインストールしてGUIを起動するだけでは問題になりません。私は理解する必要がある領域の3つの重要なカテゴリ(フォーム、セッション、およびCookieデータ)を特定しようとしましたが、少なくともこれらのトピックを理解することから始めて、ドキュメント全体。


0

並行性は、メモリモデル、ハードウェア、キャッシュ、およびコード間の複雑な相互作用です。Javaの場合、少なくともそのようなテストは主にjcstressによって部分的に対処されています。そのライブラリの作成者は、多くのJVM、GC、およびJava同時実行機能の作成者として知られています。

ただし、このライブラリでさえ、テスト対象を正確に把握できるように、Javaメモリモデルの仕様に関する十分な知識が必要です。しかし、この取り組みの焦点はmircobenchmarksだと思います。巨大なビジネスアプリケーションではありません。


0

サンプルコードの言語としてRustを使用したトピックに関する記事があります。

https://medium.com/@polyglot_factotum/rust-concurrency-five-easy-pieces-871f1c62906a

要約すると、チャネルやcondvarsなどのツールを使用して、複数の実行スレッドに関連する非決定性に対して堅牢になるように、並行ロジックを作成することがトリックです。

次に、それが「コンポーネント」を構成した方法である場合、それらをテストする最も簡単な方法は、チャネルを使用してメッセージを送信し、他のチャネルをブロックして、コンポーネントが特定の予期されるメッセージを送信することをアサートすることです。

リンク先の記事は、単体テストを使用して完全に記述されています。


-1

単純な新しいThread(runnable).run()をテストする場合は 、Threadをモックして実行可能ファイルを順次実行できます。

たとえば、テストされたオブジェクトのコードがこのような新しいスレッドを呼び出す場合

Class TestedClass {
    public void doAsychOp() {
       new Thread(new myRunnable()).start();
    }
}

次に、新しいスレッドをモックして実行可能な引数を順番に実行すると、

@Mock
private Thread threadMock;

@Test
public void myTest() throws Exception {
    PowerMockito.mockStatic(Thread.class);
    //when new thread is created execute runnable immediately 
    PowerMockito.whenNew(Thread.class).withAnyArguments().then(new Answer<Thread>() {
        @Override
        public Thread answer(InvocationOnMock invocation) throws Throwable {
            // immediately run the runnable
            Runnable runnable = invocation.getArgumentAt(0, Runnable.class);
            if(runnable != null) {
                runnable.run();
            }
            return threadMock;//return a mock so Thread.start() will do nothing         
        }
    }); 
    TestedClass testcls = new TestedClass()
    testcls.doAsychOp(); //will invoke myRunnable.run in current thread
    //.... check expected 
}

-3

(可能な場合)スレッドを使用せず、アクター/アクティブオブジェクトを使用します。テストが簡単。


2
@OMTheEternityかもしれませんが、それでも最良の答えです。
2015年

-5

EasyMock.makeThreadSafeを使用して、テストインスタンスをスレッドセーフにすることができます。


これは、マルチスレッドコードをテストするための可能な方法ではありません。問題は、テストコードがマルチスレッドで実行されるのではなく、通常マルチスレッドで実行されるコードをテストすることです。そして、実際にはもうデータ競合のテストを行わないため、すべてを同期させることはできません。
bennidi 2014
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.