2
ピアグレーディングデザイン-グラフを選択して、正確なランキング/レーティングを取得
バックグラウンド。グレーディングプロセスの一部としてピアグレーディングを使用して、半自動グレーディングのコードを書いています。生徒には一度に2組のエッセイが与えられ、生徒はスライダーを使用してどちらが優れているか、どれほど優れているかを選択できます。たとえば、スライダーは次のようになります。 A---X-B ピアグレーディングの結果に基づいて、エッセイがランク付けされ、教師が上位X%と下位X%を評価し、すべてのエッセイのスコアがこれに基づいて自動的に計算されます。このランキング/スコアリングプロセスを実行する方法はすでに考え出されています。その部分はうまくいきます。 私の質問。生徒に与えるエッセイのペアをどのように選択すればよいですか? シミュレーションでは、正確なランキングを取得するには、エッセイを少なくとも3回成績評価する必要があることが示唆されています。したがって、各エッセイは、ピアグレーディング用に提示されるペアのうち少なくとも3つに表示されます。 これはグラフの問題と考えることができます。エッセイをノードと考えてください。各エッジは、ピアのグレーディングプロセス中に提示されるエッセイのペアを表します。上記の精度結果は、各ノード(またはほとんどのノード)の次数が少なくとも3であることを示唆しています。どのようなグラフを使用する必要がありますか?ピアグレーディング中に使用するグラフをどのように生成する必要がありますか? 1つの課題は、グラフにクラスターがある場合、これによりピアグレーディングが歪むことです。たとえば、ピアグレーディングの結果が歪むため、高品質のエッセイに対してピアグレーディングを行うことは望ましくありません。 あなたは何をお勧めします? この問題は、次のようなものを使用した無向グラフでモデル化できると思います。 次数が最も低いノードを取得して、次に少ないノードとリンクします あなたの平均学位が少なくとも3になるまで続けます ノード接続を最大化 クリークの数を最小限に抑える これは良いアプローチですか?そうでない場合、代わりに何をお勧めしますか?