ソフトウェアのテストは実際にプロのプロジェクトで行われていますか？

私は長い間開発者であり、請負業者であるため、いくつかの企業で多くのプロジェクトに携わってきました。

私はと推定して20％未満のプロジェクトを系統的にテストされています。綿密にテストされたとは、アドホックで計画的なテスト以外のテストを意味します。

また、チームの一部として専用のテスター、テスト計画ドキュメント、開発者が自動化されたテストを作成し、テストカバレッジを追跡し、結果を測定するプロジェクトでは、10％未満のプロジェクトが綿密にテストされていると推定しています。

2つの質問

1. この問題についての推定パーセンテージは何ですか？
2. ソフトウェアテストに関する専門的な経験は何ですか？

追加メモ

系統的なテストの質問にはかなり偏った答えが得られる可能性があるため（人々は他の人より優れていることを自慢したい）、他の開発者（系統的なテストにさらされていない開発者）にも答えを提供することをお勧めします。あなたの会社を除いてどこでも行われています。

私のキャリアでのテストで見たパターンは、プロジェクトの失敗のリスクとの強い一致を示しています。大きなプロジェクトは小さなプロジェクトよりもテストされる可能性が高く、ミッションクリティカルなアプリケーションはマーケティングWebサイトよりもテストされる可能性が高く、社内のシステムは一般向けのものよりもテストされる可能性は低くなります。

それでも、過度にテストされたプロジェクトと十分にテストされていないプロジェクトがまだあるが、これらは少数です。

私たちが生産するものはすべて完全にテストされます。社内のQAチームが過負荷の場合、プロジェクトをテストするオフショアチームがあります。彼らは社内チームほどではありませんが、それは別のトピックです。

過去15年間に私が働いていた3社はすべて、自動的に実行される単体テストを行っていました。

それらの会社のうちの2つで、私はそれらを紹介するように押しました。

過去9年間で、私は基本的に受け入れ/回帰テストのみを満たしました。ユニットテストはほんの少ししかありませんでした。

はい。

テストの量は、アプリに必要な信頼性とプログラマー文化の成熟度に比例します。

Webサイトは非常に頻繁にバグの穴を歩いています（リンク切れは欠陥です）。

ビデオゲームはしばしばバグがあります。

Windows（最終的に）はかなり信頼できます。

ルーターは非常に信頼性が高い

病院のモニターは「壊れない」

障害の財政コストも信頼性と相関していることに注意してください。

10年以内に、正式なコードテストを使用したプロジェクトに取り組んだことはありません。

私の現在の仕事では、機能テストのみを行っています。

問題は、経営陣の誰もコードテストについて知らないことです。テスト部門はコードのテストについても知らず、単に高レベルの仕様に従い、行動/機能の観点から準拠しているかどうかを検証します。

適切なコーディングを強制する有能なソフトウェアリーダーはいません。結果は、スパゲッティコード、多くの回帰、見逃されたスケジュールなどです...

私たちは南アジアの中規模のオフショア会社です。ただし、常に米国ベースのプロジェクトを行い、米国企業から送信された要件を直接処理します。

構築するすべてのアプリケーションに系統的なテストを適用します。おそらく、テストの品質は標準に達していませんが、私たちはそれらを採用しています。

私の純粋主義者は、あなたがどれほど厳密にテストするか、または正式なテストを行うかどうかの決定に組み込まれたリスク管理が必要であることを受け入れたくありません。プログラミングプロジェクトの大部分を占めると思われる内部アプリの場合、バグをリリースし、気づいた後すぐにパッチを適用するコストは、完全なテストチームのコストを上回る場合があります。もちろん、それはアプリと失敗の潜在的なコストに依存します。

そうは言っても、リスク管理計画が正式なテストの欠如の理由だとは思わない。それは、技術以外のマネージャーがそれが提供する価値を理解しておらず、コストだけを見ている結果だと思います。

私のサンプルはパーセンテージを推定するのに非常に小さいですが、とにかくここに行きます。

1つはファブレスチップ+ファームウェアの会社で、熱狂的なテストを行いました。それぞれが数十台のユニットを並行してテストする、数十のインストールでの24時間365日の自動テスト。テストソフトウェアの開発に専念するソフトウェアチーム。テスト装置の構築に専念するハードウェアチーム。数十の競合他社に対する互換性テスト。ちなみに、彼らは数百万ドルのチップテスターのインストールを購入して、チップがファウンドリを離れるときにファブが実行するテストの一部を開発およびデバッグしました。

もう一つは銀行でした。これは完全に異なる環境です。製品リリースはありませんが、継続的に実行し続けるための多くの社内ソフトウェアがあります。これらの人たちは、行ったすべての変更からcr * pをテストしました。DEV / QA / PROD環境の非常に厳密な分離、自動回帰テスト、本番環境にリリースする前にエンドユーザーがサインオフする必須のQAテストなどがありました。

ええ、人々は系統的なテストを行います。しかし、あなたが言うことができるように、私は典型的なコンピュータユーザー向けに典型的なGUIソフトウェアを出荷する場所で働いたことがない。

私は現在、無線医療機器を製造している小さなスタートアップ企業向けの組み込みファームウェアを書いています。厳格なテストを行う必要があり、CEOに直接報告する誰かが率いる完全に独立した品質部門があります。私は以前に別のテスターでコードを徹底的にテストしたことがありません（比較するのは、約15年前に衛星テレビシステムで作業していたときだけです）。

テスト結果はFDAに提出されます（これまでのところ、2つのFDA認可を取得しました。各提出は約500ページの長さでした）。開発とテストの両方の方法論は、定期的な監査の対象です。

したがって、多くの正式なテストを行うのは大企業だけではありません。

注-私は25年以上の契約プログラミング/コンサルティングで、正式なテストを実質的に行わなかった多くの企業で働いてきました。それらのほとんどはもうありません。

私がこれまでに行ってきたほぼすべての会社は、系統的なテストを実施しました。私の現在の会社にはいくつかの基本的なユニットスタイルテストがあり、それだけでは十分ではありません。このため、品質上の問題がいくつかありました。自分以外の人が使用するプロジェクトについては、独立した徹底的なテストを強くお勧めします。費やしたお金はそれだけの価値があります。動作しないアプリケーションは使用されません。これは、内向きと外向きの両方に当てはまります。

過去8年ほどの会社での20年ほどのキャリアの中で、テストを行わなかったプロジェクトに取り組んだことがありません。テストの量は会社ごとに異なりましたが、私がこれまで取り組んできたすべての専門的な開発プロジェクトは正式なテストを行いました。これは、中小企業の両方に等しく適用されます（「小」は従業員10人未満、「中規模」は従業員数千人以下を意味します）。

一部の企業は自動テストをあまり行っておらず、一部の企業は手動テストをあまり行っていませんでしたが、少なくともどちらか一方がありました。

それは顧客のニーズに依存します。契約状況では、おそらく受け入れテストがあります。社内は通常、ほとんどテストのない平手打ちです。消費財は通常、頻繁な機能で高度にカバーされていますが、端は粗雑です。

短い答え：はい

長い答え：

1. 最初のカテゴリの推定値はよくありません（おそらく0からの距離ですが、いくらですか？）が、私の経験は実際には2番目の推定値と一致しています。テストの量と種類は、開発中のアプリケーションの種類、利用可能な時間枠、開発者のスキルセット、プロジェクトの実行方法に依存するため、意味のある割合を与えることは困難です。実際には、開発者にとって最も重要なハードルは受け入れテストです。これは、請求の目的にとって重要なマイルストーンであるためです。しかし、予期せぬ事態が発生する可能性があり（要件が増える）、開発者は、トラブルシューティングと克服に必要な時間に加えて、可能な限りタイムリーなアドホックテスト（この段階で）を提供し、順守するように圧力を受ける可能性があります予期もせぬ出来事。

2. 上記の要因の異なる組み合わせで、さまざまなプロジェクトを経験しました。

   • 正式な単体テストはなく、統合テストとほとんどアドホックテストのみ

   • ユニットテストから、専用のQAリソース、自動テスト（テスターが独自のツールセットを使用して実施）、コードカバレッジレポートを含む詳細なテスト計画に至るまで、非常に形式的です。しかし、これらはマネージャーにとっても開発者にとっても常に意味があるとは限りません

個人レベルでは、扱っているテクノロジーに適した適切なテストを作成する際に、オプションの理解を維持し、自分の裁量でそれらを行使しようとします。基本的には、私の仕事にとって実際に意味があり有益なものであり、それほど多くの数字を出すものではありません。