人々のグループにオブジェクトのセットをまとめてランク付けさせるにはどうすればよいですか？

私は全国の約180の学校を監督する組織で働いています。これらの学校から結果データを定期的に収集し、ランク付けしています。私は最高と最悪のかを決定するために国家のオフィス（約100人）の調査を行うように求めてきた認知学校の質のスタッフの非データベースの印象に基づいて、学校があります。

追加情報：

• すべてのスタッフがすべての学校に精通しているわけではありません。学校をランク付けするように求められたとき、「私はこの学校について何も知りません」がオプションである必要があります。
• 一部のスタッフは特定の学校のサブセットで作業しているため、これらのスタッフの知識はこれらの特定の学校に最適です。

私の最初のアプローチは、10かそこらの学校のセットをランダムに生成することで、各学校は6かそこらのセットにあります。次に、各スタッフに各セットをランク付けして、不明な学校を示します。次に、各学校のランキングをセット全体で平均し、それをグローバルランキングとして使用できます。

上記の方法は実行可能ですか？もっと良い方法はありますか？この方法が機能する場合、集計されたランキングを代表するために各学校に必要なデータポイントはいくつですか？

ペアワイズ比較に基づいたBradley-Terry-Luceタイプのモデルを使用できます。ランダムに（またはそれ以外の方法で）学校のペアの束を生成し、各スタッフメンバーにいくつかのペアを見てもらい、ペアのどちらが良いか（または、どちらかまたは両方の学校に精通していない場合は「わからない」と伝える） ）。次に、このデータをモデルに接続して、ランキングを取得します。

これらのモデルに適合するRのBradleyTerry2パッケージがあります。