地域の科学フェアの勝者を公正に決定する方法は？

私のサイエンスフェアで勝者を計算する正しい方法を理解するのに助けが必要です。統計と数学についての無知が、子供の勝つチャンスを邪魔したくありません。（危機に瀕している多くの奨学金と進歩の利点）。よろしくお願いします。

最初に、セットアップ方法の背景を少し説明します。

私たちの見本市には通常、約600の学生プロジェクトがあります。これらのプロジェクトは、個々の学生または学生のチームによって完了および提示されます。チームは2人または3人の子供で構成できます。

生徒は小学校（6〜8年生）と中学校（9〜12年生）の2つの部門に分かれています。各部門には異なるカテゴリがあります。初等プロジェクトの9つのカテゴリと二次部門プロジェクトの17のカテゴリです。

賞は、各部門の各カテゴリの1位、2位、3位に与えられます。3位を超えるプレースメントには、名誉ある賞が贈られます。

プロジェクトごとに、4人から6人の審査員を割り当てます。審査は、審査員の資格、カテゴリーの好み、過去の審査経験に基づいて行われます。（経験豊富な方は上級部門のプロジェクトに割り当てられます）。

審査員によるプロジェクトの採点方法：

各プロジェクトには、ポイントが割り当てられた5つの基準があります。各基準は1から20ポイントの間で授与されます。一般的な基準は次のとおりです。

• 全体的な目標+仮説+リソースの使用（1..20）
• 設計+手順（1..20）
• データ収集+結果（1..20）
• ディスカッション+結論（1..20）
• インタビュー（1..20）

チームプロジェクトの場合、「チーム控除」と呼ばれる6番目の基準が評価されます。この場合、裁判官は、参加しなかった、または参加しなかったチームメイトに対してポイント（最大15）を差し引くことができます。

• チーム控除（0 ..- 15）

したがって、裁判官はすべてのプロジェクトを5〜100ポイントで採点できます。プロジェクトがチームプロジェクトの場合、スコアは15ポイント減ります。

生データ：

数時間の間に、裁判官から最大3,600点のスコアを収集します。これらのスコアはデータベースに入力され、そこであらゆる種類の並べ替え、平均化、標準偏差の計算などを行うことができます。これらの生のスコアをどうすればよいのか正確にはわかりません。現在、私は各プロジェクトの単純な平均を行っていますが、裁判官のバイアス、チームの控除、または考慮していない他の多くのことについて調整していないのではないかと心配しています。

望ましい結果：

最後に、スコアを処理して、カテゴリごとに1位、2位、3位のプロジェクトを授与し、その後、後続の場所で名誉ある賞を授与できるようにしたいと思います。私はポジションが正しく計算され、勝利した子供たちが表彰（そして賞品）に値することを確信したいと思います。

私の長い質問を読んで、これを理解するためのあなたの助けに感謝します。フォローアップの質問があれば、喜んでお答えします。

「答え」は、ここでの私の考えには、たぶん寛大すぎるラベルだと思います。私は探索的データ分析が大好きで、大規模な箱ひげ図ファンなので、それは私のコメントに反映されます。

こんにちは、たくさんのスコアです。:) 600件のうち少なくとも78件のプロジェクトがトップ3（[9+17]x3）に入っており、名誉ある言及があるようです。通常、私はスコアリングの監査を実施するために各カテゴリーのトップとミドルからサンプリングすることを言いますが、あなたが持っている数のためにあなたのケースでは非常に面倒です-そしてそれはあなたがスコアリングを完成させるだけです。:)

以下で使用できるいくつかの提案があるので、統計パッケージが利用可能になることを願っています。

各カテゴリー内のスコアの広がりを見ましたか？上位3つ、5つ、または8つのプロジェクトのスコアは非常に近いですか。それは、プロジェクトの質が非常に似ていることを示唆し、あなたが何をしても、おそらく最終スコアに関しては恣意性の認識があるでしょう。

各審査員が採点するプロジェクトの数はわかりません。彼らが妥当な数（ここでは高いほど良いが10を超えるなど）をスコアリングすると仮定して、各裁判官について、評価する各プロジェクトに与えられる合計スコアの中央値および四分位範囲を計算できます（属性が非常に多いため、おそらくそうではありません）それらのそれぞれを個別に見る価値があります）。審査員が特に高得点または低得点を示しているように見えますか？審査員が中央で一貫してスコアリングしているように見えるので、10を与えている可能性があります。これは、比較的小さな四分位範囲と、可能な値の範囲の中央付近の合計スコア中央値によって示されます。

チームプロジェクトの場合、合計スコアに基づく配置と、チームの控除が適用された後の配置を比較できます。チームの控除は、他の方法では上位3位に入るチームに影響しますか？

これらは、開始するための提案にすぎません。これらの線に沿ってデータを視覚化すると、配置が公平に見えるかどうかについていくつかの良い指標が得られると思います。

アップデート：これはあなたが持っている興味深い難しい問題です。個々の裁判官は、各裁判官の重み付け係数（裁判官のバイアスを考慮に入れるため）を考え出すのに十分なプロジェクトを評価していないようです。 -審査員全体の評価者の信頼性。同じプロジェクトで採点する審査員がそれを行うのに十分なオーバーラップがないだけです。上位のいくつかのプロジェクトのスコア範囲を確認しましたか？それらと低いスコアのプロジェクト（自然境界）との間に明確な違いはありましたか？上位プロジェクトはスコアでどれくらい近かったですか？

好奇心から、審査員は採点基準を与えられたため、各基準にスコアを与える方法に柔軟性がほとんどありませんでした（たとえば、帰無仮説を提供するために1ポイントを与える、1つ以上の代替仮説を提供するために1ポイントを与える...）または彼らが与えることができるポイントの合計数を知っているだけで、残りは彼らに任されていましたか？スコアリングガイドがあれば、スコアはかなり正確であると私は確信しています。