コードカバレッジとは何ですか？どのように測定しますか？

コードカバレッジとは何ですか？どのように測定しますか？

自動化されたテストコードカバレッジに関してこの質問をされました。自動化されたツール以外では、科学よりも芸術のようです。コードカバレッジの使用方法の実例はありますか？

コードカバレッジは、自動テストの実行中に実行されるコードの行/ブロック/アークの数の測定です。

コードカバレッジは、バイナリを計測するための専用ツールを使用して収集され、トレース呼び出しが追加され、計測された製品に対してフルセットの自動テストが実行されます。優れたツールを使用すると、実行されるコードの割合だけでなく、データをドリルダウンして、特定のテスト中に実行されたコード行を正確に確認することもできます。

私たちのチームは、社内のコードカバレッジツールセットであるMagellanを使用しています。.NETショップの場合、Visual Studioにはコードカバレッジを収集するための統合ツールがあります。この記事で説明するように、いくつかのカスタムツールをロールすることもできます。

C ++ショップの場合、IntelにはWindowsとLinuxで動作するツールがいくつかありますが、私はそれらを使用していません。また、GCC用のgcovツールがあると聞いたことがありますが、それについて何も知らず、リンクを提供できません。

使用方法については、コードカバレッジは各マイルストーンの終了基準の1つです。実際には、3つのコードカバレッジメトリックがあります。ユニットテスト（開発チームによる）、シナリオテスト（テストチームによる）、および結合カバレッジです。

ところで、コードカバレッジはどれだけのテストを行っているかを示す良い指標ですが、必ずしも製品をどれだけうまくテストしているかを示す良い指標とは限りません。品質を保証するためにコードカバレッジと一緒に使用する必要がある他のメトリックがあります。

コードカバレッジは基本的に、コードのどの程度がテストでカバーされているかをテストします。したがって、コードカバレッジが90％である場合、テストでカバーされていないコードが10％あることを意味します。コードの90％がカバーされていると思うかもしれませんが、別の角度から見る必要があります。100％のコードカバレッジを取得するのを止めている理由は何ですか？

これは良い例です：

if(customer.IsOldCustomer()) 
{
}
else 
{
}

ここで、上記のコードには2つのパス/ブランチがあります。常に "YES"ブランチにヒットしている場合は、else部分をカバーしていないため、コードカバレッジの結果に表示されます。これで良いのは、カバーされていないことがわかったので、else部分をカバーするテストを作成できるからです。コードカバレッジがなかった場合は、時限爆弾に乗って爆発するだけです。

NCoverは、コードカバレッジを測定するための優れたツールです。

「100％のコードカバレッジ」が存在するということは、すべてが完全にテストされるという意味ではありません。すべてのコード行がテストされるという意味ではありませんが、すべての（一般的な）状況でテストされるという意味ではありません。

コードカバレッジを使用して、おそらくテストを作成する必要があるコードのビットを強調表示します。たとえば、現在の単体テストの実行中にmyImportantFunction（）が実行されないことを示すコードカバレッジツールがある場合、それらはおそらく改善されるはずです。

基本的に、100％のコードカバレッジは、コードが完全であることを意味しません。より包括的な（ユニット）テストを作成するためのガイドとして使用してください。

以前の回答の多くにいくつかのポイントを補足します。

コードカバレッジとは、テストセットがソースコードをどの程度カバーしているかを意味します。つまり、一連のテストケースでカバーされるソースコードはどの程度か。

上記の回答で述べたように、パス、条件、関数、ステートメントなど、さまざまなカバレッジ基準があります。

1. 条件カバレッジ：すべてのブール式がtrueおよびfalseで評価されます。
2. デシジョンカバレッジ：trueとfalseについて一度評価されるブール式だけでなく、後続のすべてのif-elseif-elseボディをカバーします。
3. ループカバレッジ：可能なすべてのループが1回、複数回、ゼロ回実行されたことを意味します。また、最大制限を想定している場合は、可能であれば、最大制限時間をテストし、最大制限時間より1つ多くテストします。
4. 入口と出口のカバレッジ：可能なすべての呼び出しとその戻り値をテストします。
5. パラメータ値カバレッジ（PVC）。パラメータのすべての可能な値がテストされているかどうかを確認します。たとえば、文字列は一般的に次のいずれかになります：a）null、b）空、c）空白（スペース、タブ、改行）、d）有効な文字列、e）無効な文字列、f）シングルバイト文字列、g ）2バイト文字列。可能な各パラメータ値のテストに失敗すると、バグが残る可能性があります。これらの1つだけをテストすると、各行がカバーされるため、100％のコードカバレッジになる可能性がありますが、7つのオプションのうち1つしかテストされないため、パラメーター値の14.2％のみがカバーされます。
6. 継承カバレッジ：オブジェクト指向ソースの場合、基本クラスによって参照される派生オブジェクトを返すときに、兄弟オブジェクトが返される場合に評価するカバレッジをテストする必要があります。

注：静的コード分析では、到達できないコードやぶら下がっているコードがあるかどうか、つまり、他の関数呼び出しでカバーされていないコードがあるかどうかを調べます。また、他の静的なカバレッジ。静的コード分析が100％のコードがカバーされていると報告しても、可能なすべてのコードカバレッジがテストされている場合、テストセットに関するレポートは提供されません。

コードカバレッジは、以前の回答でよく説明されています。したがって、これは質問の2番目の部分に対する回答の詳細です。

コードカバレッジを決定するために3つのツールを使用しました。

1. JTest -JUnit上に構築された独自のツール。（単体テストも生成します。）
2. Cobertura -JUnitテストと簡単に組み合わせてレポートを生成できるオープンソースコードカバレッジツール。
3. Emma- 別の-これは、単体テストとは少し異なる目的で使用しました。これは、エンドユーザーがWebアプリケーションにアクセスしたときにカバレッジレポートを生成するために使用されています。これをWebテストツール（例：Canoo）と組み合わせると、一般的なエンドユーザーの使用中にカバーされるコードの量を示す非常に有用なカバレッジレポートを提供できます。

これらのツールを使用して

• 開発者が優れた単体テストを作成したことを確認する
• ブラックボックステスト中にすべてのコードがトラバースされることを確認する

コードカバレッジは、テストされるコードの単なる測定値です。測定できるカバレッジ基準はさまざまですが、通常は、プログラム内のさまざまなパス、条件、関数、およびステートメントによって、カバレッジ全体が構成されます。コードカバレッジメトリックは、これらの各カバレッジ基準を実行するテストのほんの一部です。

プロジェクトの単体テストカバレッジの追跡方法については、静的コード分析ツールを使用して追跡しています。

Perlには、モジュールで定期的に使用する優れたDevel :: Coverモジュールがあります。

ビルドとインストールがModule :: Buildによって管理されている場合は、単純に実行./Build testcoverして、サブ、ライン、条件ごとのカバレッジを示す素敵なHTMLサイトを取得できます。

以前の回答では、コードカバレッジはよく説明されています。iOSとOSXプラットフォームで作業している場合、ツールに関連するいくつかの知識を追加します。Xcodeは、コードカバレッジをテストおよび監視する機能を提供します。

参照リンク：

https://developer.apple.com/library/archive/documentation/DeveloperTools/Conceptual/testing_with_xcode/chapters/07-code_coverage.html

https://medium.com/zendesk-engineering/code-coverage-and-xcode-6b2fb8756a51

どちらも、Xcodeを使用したコードカバレッジの学習と探索に役立つリンクです。

PHPについては、セバスチャンバーグマンのGithubをご覧ください。

PHPコードカバレッジ情報の収集、処理、およびレンダリング機能を提供します。

https://github.com/sebastianbergmann/php-code-coverage