HowtoReview

HOWTO: Wie schreibe ich ein Review?!

(von Dr. Dr. Sergej Sizov)

Das System für die Begutachtung der eingereichten Ausarbeitungen des Seminars heisst OpenConf. Dieses System wird auch von vielen "echten" Konferenzen und Workshops verwendet. Auch die typischen Fragen des Review-Bogens (Relevanz, technische Tiefe, scores von Accept bis Reject,...) haben wir fast unverändert gelassen.

Jede Ausarbeitung wird von mindestens zwei Reviewern begutachtet. Im Verlauf des Seminars werden wir jeden Teilnehmer bitten, eine der abgegebenen Ausarbeitungen zu begutachten. Die Zuweisung der Reviews erfolgt durch die Betreuer des Seminars. Die Gutachter haben in der Regel 4 Tage Zeit, um die zugewiesene Ausarbeitung zu lesen und das Gutachten einzureichen.

Jeder Seminarteilnehmer muss sich als Gutachter im System OpenConf registrieren.

Bei der Vorbereitung des Reviews geht man folgendermassen vor:

• Im OpenConf als Reviewer einloggen. Als erstes sehen Sie die Liste der zugewiesenen Publikationen, die sie als Gutachter bewerten müssen. Sie können die Publikationen herunterladen, ausdrucken, und anschliessend aufmerksam lesen.
• Beim Anklicken des Titels der Publikation öffnet sich ein Review-Formular. Es enthält typische Fragen eines wissenschaftlichen Reviews, die Sie nun sorgfältig beantworten müssen:

1. Recommendation: dies ist die zusammenfassende Bewertung der Ausarbeitung, die von "reject" bis "must accept" reicht. Auf einer "echten" Konferenz entscheiden diese Bewertungen über Annahme/Ablehnung des eingereichten Papers. Da bei uns alle Themen bereits quasi "angenommen" sind, interpretieren wir diese Scores als Qualität der Ausarbeitung: von "reject" (inakzeptabel, wesentliche Verbesserungen erforderlich) bis "must accept" (absolut tolle Ausarbeitung, keine Probleme)
2. Paper Categorization: die Orientierung der Ausarbeitung und des Papers: von "sehr theoretisch" bis "sehr praktisch"
3. Overall Value Added to the Field: wie signifikant, ihrer Meinung nach, ist der wissenschaftliche Beitrag der Ausarbeitung und des Papers?
4. Reviewer Familiarity with Subject Matter: wie vertraut mit dem präsentierten Thema sind Sie selbst?
5. Is the paper length appropriate: ist der Umfang der Ausarbeitung angemessen?
6. Comments for the Authors: ein besonders wichtiger Freitext-Teil. Diese Inputs werden an den Autor verschickt und sollen ihm helfen, die Ausarbeitung zu verbessern. Typischerweise enthält dieses Feld
   • die zusammenfassung des Themas in einem Satz (z.B. "das Paper betrachtet das Problem der Herkunft von Daten in wissenschaftlichen Experimenten am Beispiel der Geowissenschaften")
   • globale Vor-/Nachteile der gesamten Ausarbeitung, die Ihnen aufgefallen sind (z.B. "theoretische Basis sehr vage beschrieben")
   • detaillierte Kommentare und Empfehlungen zu einzelnen elementen des Papers (z.B: "Section3: Die Notation der Formel 123 ist nicht erklärt")
7. Comments for the Program Committee: diese Kommentare werden dem Autor nicht geschickt. Sensible Bemerkungen (z.B. "dieses Paper ist ein Plagiat von XYZ") platziert man am besten hier.

• Die Identität des Reviewers ist geschützt, d.h. der Name des Reviewers wird dem Autor nicht mitgeteilt. Trotzdem sollten Sie wissenschaftlich korrekt arbeiten und persönliche, beleidigende oder anzügliche Bemerkungen vermeiden.
• Sie können Ihr Review auch mehrmals nachträglich ändern bzw. korrigieren. Die Endversion sollte in der Regel 4 Tage nach dem Beginn des Reviews fertig sein. Die Deadline wird Ihnen individuell mitgeteilt. Sobald Sie mit dem Review fertig sind, aktivieren Sie das Häckchen "I have completed the review". Dies signalisiert dem Betreuer, dass Ihr Review fertig ist und an den Autor verschickt werden kann.

Noch vor dem Vortragstag wird die Notification mit Bewertungen an den Autor verschickt, so dass dieser Ihre Kommentare berücksichtigen kann, um seinen Vortrag und die neue Version der Ausarbeitung zu produzieren. Bei den Konferenzen heisst diese Endfassung "camera-ready version", sie wird anschliessend an den Verlag weitergeleitet, der die Konferenz-Proceedings herausgibt. Diese Deadline kann in der Praxis nicht verlängert werden, da die Proceedings rechtzeitig zur Konferenz fertig sein müssen! So auch in unserem Seminar: die zum Stichtag (Vortrag + 2 Wochen) im System verfügbare Fassung gilt als Endversion.

Die Paper-Zuweisungen werden von OpenConf automatisch an die Reviewer verschickt. Parallel werden wir die Reviewer über Deadlines und weitere Vorgehensweise nochmals individuell informieren.