論文を審判するにはどうすればよいですか？

以下に更新

私たちは皆、ピアレビューの決定的な重要性を知っています。これは、品質管理と研究に関するフィードバックの主要な形です。ただし、初期段階の研究者（私のような）にとっては、混乱を招くシステム/プロセスになることがあります。

したがって、科学的な審判プロセスに関するガイダンスを提供する論文がいくつかあります。コンピューターサイエンスからの2つの（非常に異なる）例- この1994年のParberryによる記事と、最近のCormodeによる記事 -は素晴らしいアドバイスを提供します（後者は陰謀の悪戯かもしれませんが）。

ここでは、特に理論的なコンピュータサイエンスの特性に関連して、レビュープロセスについて、このコミュニティの経験豊富なメンバーから幅広いアドバイスを求めたいと思います。

1. 論文の結果の重要性を判断する主な基準は何ですか？会議/ジャーナルに論文を受け入れるべきかどうかを判断するにはどうすればよいですか？正当性を検証することは重要ですか？
2. 審判レポートの主な要素は何ですか？どの部分が最も重要ですか？（非）受け入れの推奨を与えることは常に必要ですか？レポートには何が含まれ、編集者だけに何が含まれますか？
3. 会議の評価は、ジャーナルの評価とどのように異なりますか？会議のレポートは、ジャーナルのレポートとどのように異なりますか？（いったいどうすれば私の推奨事項の「自信」を評価できますか？）ジャーナルのバージョンは会議の論文とは大きく異なるべきですか？
4. 論文が理解できない場合はどうなりますか？...の証拠？（それは私のせいですか？）
5. 誤字/文法上の間違いはどうですか？それらがたくさんある場合はどうなりますか？
6. レポートにどれくらいの時間を費やすべきですか？
7. 1年にいくつのレポートを作成する予定ですか？レフェリーへのリクエストを拒否することはいつ受け入れられますか？

もちろん、これはCWであるため、このトピックに関する他の関連する質問と回答をお勧めします。

この質問は、MathOverflowでの同様の投稿に触発された（盗まれた）ものです。

2011年2月15日更新：

私は、特に会議論文のレビューとプログラム委員会のメンバーシップに関して、この質問についてより多くの意見を得ることに非常に興味があります。（これらの2つの役割はそれ自体が異なる獣であり、どちらもジャーナル記事IMOのレフェリーとは非常に異なります）。理論的なコンピューターサイエンスのすべての研究者が最終的に引き受けなければならない責任。

• 時間。委員会メンバーまたは会議レビュアーとしてどれくらいの時間を費やす予定ですか？数週間のうちに10個以上を処理できる可能性があるとしたら、どうすれば時間切れを回避できますか？時間を過ごす最も重要なことは何ですか？

• 信頼。論文が私の専門分野から離れすぎている場合はどうなりますか？他の誰かが提出物をレビューするように指名/依頼する際に考慮すべき要素は何ですか？自分の専門分野からそれほど離れていない場合、レビューすることを選択した場合、いつ信頼度評価1を与えることができますか？

• 基準。ジャーナルと会議には重大な違いがあります。いくつかの非常に重要な論文は、ジャーナルに掲載されていません。いくつかの非常に重要な論文は、以前は会議に登場しませんでした。これらの設定で論文を評価する基準の最も重要な違いは何ですか？

• 推奨事項。本質的に、主にスペースと時間の制約により、会議論文の著者に提供できる推奨事項は少なくなります。また、通常、レビューは1回のみです。別の考慮事項は、私の報告書が強力な委員会全体に公開されることです。私が提供できる提案/指令の範囲は何ですか？

以前と同様に、特定の質問をするのを逃したと思われる場合は、お知らせください、または直接編集してください。結局のところ、これはCWです。

これらの新しい考えは、Sureshが彼のブログで言及した論文を読むことにより、部分的に動機付けられています。

1. あなたの知る限り、この論文は最新技術に対して重要で、十分に説明され、正しい貢献をしていますか？論文が3つの基準のいずれかに失敗した場合、他の2つに関係なく、その理由だけで論文を拒否するのが妥当です。

2. レポートに含めるべきものは次のとおりです。おそらく重大な不正行為の告発を除き、すべてが著者に見えるはずです。

   a。論文の簡単な要約。編集者が結果の品質を判断するのに役立ち、著者と編集者の両方が実際に論文を読んで理解したことを確信させるのに役立ちます。結果をより大きなコンテキストに配置します。著者が提出物にそれを含めたとしても、以前のバージョンの履歴を含めてください。敬意を払ってください、しかし残酷に正直に。

   b。正当性、新規性、明快さ、重要性、一般性、潜在的影響、優雅さ、技術的深さ、堅牢性などに関する論文の長所と短所の議論。非倫理的な行動が疑われる場合、あなたの疑いを説明してください。敬意を払ってください、しかし残酷に正直に。

   c。さらなるアクション-編集者への推奨事項-承認、マイナーリビジョンで承認、2回目のレビューを依頼、または完全に拒否。決定ではなく、推奨事項を作成していることに注意してください。決められない場合は、そう言ってください。敬意を払ってください、しかし残酷に正直に。

   d。作者へのより詳細なフィードバック-推奨事項のより詳細な正当化、最終バージョンでの明確化の要求、欠落している参照、証明のバグ、簡略化、一般化、タイプミスなど。敬意を払ってください。

3. 会議レポートは短くする必要があります。プログラム委員会には、一度に検討する数百の論文があります。会議論文とジャーナル論文に違いがあるかどうかは、ジャーナル次第です（間接的にはコミュニティ次第）。ほとんどの理論的なコンピューターサイエンスジャーナルは、大きな違いを主張していません。理論論文の会議版とジャーナル版は本質的に同一であることが非常に一般的です。疑問がある場合は、編集者にお尋ねください！

4. 誠実な努力をしても論文がまだ理解できない場合、それは著者のせいであるか、編集者のせいかもしれませんが、あなたのせいではありません。著者の主な責任は、その結果を聴衆に効果的に伝えることであり、優れた編集者は、あなたが論文の対象読者の優れた代表だと思う場合にのみ、審判に論文を送ります。しかし、あなたは誠実な努力をしなければなりません。最初の読書ですぐにすべて（何でも）を理解することを期待しないでください。

5. エラーが多い場合は、論文を読んでもいけません。論文が専門的に書かれていないという理由で拒否することをお勧めします。そうでなければ、本当に徹底的になりたい場合は、文法、スペル、句読点の間違いの代表的なリストを含めてください。ただし、最後のバグをすべて見つけ出すことを忘れないでください。敬意を払ってください、しかし残酷に正直に。

6. 1ページあたり約1時間、主に論文の結果とテクニックの内部化に費やすことを期待してください。実際にそれほど時間がかからないときは、うれしい驚きです。（それよりも時間がかからない場合は、紙が非常にエレガントでよく書かれているか、その領域を非常によく知っているか、技術的に浅いかのいずれかです。これら3つの可能性を混同しないでください。）

7. 少なくとも他の人が書いているのと同じくらい多くのレフェリーレポートを書くべきです。これがあなた自身の論文を書くよりも時間がかかるなら、あなたはあなた自身の論文に十分な時間を費やしていない。

各コミュニティは独自のスタイルを開発しているため、多くは会議/ジャーナルに依存しているため、会議/ジャーナルに期待されることを知ることは確かに少し助けになります。

1.論文の結果の重要性を判断する主な基準は何ですか？会議/ジャーナルに論文を受け入れるかどうかを判断するにはどうすればよいですか？正当性を検証することは重要ですか？

基準：ノベルティ/オリジナリティ、期待される影響、正確性/妥当性、拡張性（どの程度の問題が研究されていますか？+定理+実装？+実験結果？）、プレゼンテーションの品質。ジャーナルの受け入れ基準は、会議よりもはるかに高くなっています。会議では、以前の基準に基づいてスコアを与えます。可能な限り正確さを確認することは、特に雑誌記事にとって非常に重要です。

2.審判レポートの主な要素は何ですか、どの部分が最も重要ですか？（非）受け入れの勧告を与えることは常に必要ですか？レポートには何が含まれ、編集者だけに何が含まれますか？

審判レポートには、少なくとも4つの主要な要素が含まれています。論文の概要とその貢献。論文を受け入れることを支持するポイント; 論文に対するポイント; 対処すべきポイントを含む主要なコメント。マイナーなコメント（タイプミスなど）。承認または拒否、または必要な修正の程度を常に示す必要があります。編集者へのコメントには、次のものが含まれます。疑いの声明; 盗作の可能性または論文の並行提出の詳細。...

3.会議の評価は、ジャーナルの評価とどのように異なりますか？会議のレポートは、ジャーナルのレポートとどのように異なりますか？（いったいどうすれば私の推奨事項の「自信」を評価できますか？）ジャーナルのバージョンは会議の論文とは大きく異なるべきですか？

ジャーナルのレビューはより広範囲になる傾向があり、「これらのアイデアを実装して評価する」など、著者が論文を受け入れ可能な状態にするために行うべき多くのことを含めることができます。あなたの自信は、あなたがどれほど自信があるかに基づいているべきです。通常、これには経験が伴いますので、控えめに考えてください。論文を理解しているとしても、それは自分の分野の外にあります。保守的であることも良い考えです。自分の分野外で論文の独創性を評価することは困難です。一部のジャーナルは、ジャーナル投稿には会議バージョンと比較してかなりの量の新しい資料が含まれている必要があると述べています。30％は私が聞いた数字です。

4.論文が理解できない場合はどうなりますか？...の証拠？（それは私のせいですか、それとも彼らのせいですか？）

これは異なる場合があります。時にはそれはあなたのせいであり、時にはそれは彼らのせいです。あなたの判断を使用してください。同僚に論文を見てもらうよう頼むかもしれません。完全に理解できず、フォーマットの問題が原因ではない場合は、PCチェアに連絡して、これが事実であることを説明してください。いずれにせよ、これはあなたの信頼スコアに反映されるべきです。文章や言語が不十分なために、または論文が時期尚早に提出されたために論​​文を理解できない場合は、レポートに記載する必要があります。

5.誤字/文法上の間違いはどうですか？それらがたくさんある場合はどうなりますか？

私が若かったとき、私はすべてのタイプミスと文法エラーを報告したいと思います。今は時間がありません。一部を報告することは常に役立ちます。最も深刻なものを選択してください。また、紙を校正することをお勧めします（ネイティブスピーカーによる）。ジャーナルの論文については、より徹底してください。エラーが多すぎる場合は、ジャーナルに投稿すべきではありません。それだけが拒否理由（IMHO）です。

6.レポートにどれくらいの時間を費やすべきですか？

読書時間を含む会議論文の最大1日。ジャーナル論文、特に長い論文の場合、論文を注意深く読むには一週間かかるかもしれません。

7.年に何件のレポートを書く予定ですか？レフェリーへのリクエストを拒否することはいつ受け入れられますか？

予想される金額は、5〜30の間で変動する可能性があります。若手研究者として、実習用に数個が与えられます。成績を進めていくと、PCのメンバーになると、さらに復習します。さらに進むと、あなたのためにレビューを行う博士課程の学生が大勢います。1年で30以上は非常に面倒です。

上記で述べたように、（1）良いレビューを行うのに十分な専門知識がないと感じた場合、または（2）レビュー（またはその他）が多すぎる場合、審判リクエストを拒否するのが適切だと思います現時点でのコミットメント。また、あなたが拒否した場合に、多くの可能な代替レビューアを提案するのも良い形と考えられます。

ここに2セントを与え、7番目のポイントを追加します。

1. 毎年何件のレポートが必要ですか？

私の答え

1. もちろん、会議とジャーナルの基準は同じではありません。両方の正確性がおそらく最も重要な基準です。次に、私の第2の基準は、会議の結果の新規性ですが、ジャーナルの結果の影響です。会議では、論文が聴衆にとって関心のあるものであるかどうかを判断することも重要ですが、これは査読者ではなくPCの議長が行うことができる判断の呼び出しです。

2. まず第一に、あなたが詐欺や悪い習慣を疑い、確信が持てない場合（そして編集者とだけ話すべきです）を除いて、私の意見はすべてを著者に伝えるべきだということです。著者に正直であり、常に推薦することが重要だと思います。レポートでは、トピック、結果（著者が論文を理解していることがわかるように）を記述し、結果のメリット（最新技術、技術的深さ、正確さ、明快さに関する新規性）を評価する必要があります。すべての問題を指摘します。最後に、著者へのアドバイスを添えて、推奨事項を提示する必要があります（「この結果は素晴らしいと思いますが、これよりも会議Aに適しています」など）。ごく少数のケースでは、提出さえするに値しない論文が与えられますが、

3. 会議論文に関連する特別な問題のジャーナルへの招待の場合を除き、大きな違いがあるはずだと思います。

4. 2つのケース：理解できない（その障害）ため、その理由で論文を拒否できるか、その論文のレビュー担当者ではありません。それが起こったとき、あなたはそれがどんな場合であるかを知っています、そうでなければあなたは2番目のケースにいます！

5. 私は英語を母国語としないので、答えには偏りがあります。しかし、それは論文を却下する理由ではないと思います（極端な場合を除く）。

6. 必要な時間。1時間（ワークショップでの悪い論文）から数日（トップジャーナルでの非常に複雑な論文）の範囲です。

7. 個人的には、私が提出した論文ごとに3つのレポートを作成する予定です（そして、はい、実際、おそらく最も時間のかかるタスクの1つをレビューする前に、おそらく教える前に）。