2. Praxisaufgabe: Durchführen einer Evaluation

Bearbeitungszeit: 3 Wochen

Ausgabe: 08.06.09

Praxisabnahme: 29.06.09 um 8:30 in B017

Das Ziel des zweiten praktischen Übungsbaltts ist es, einmal selber eine Evaluation durchgeführt zu haben. Die Evaluation wird auf einem Corpus von 120 Bildern aus Flickr stattfinden. Die Praxisabnahme findet für alle Gruppen gemeinsam am 29.6.09 um 8:30 in B017 statt.

Gehe für die Evaluation wie folgt vor:

I. Relevanzbewertung der Photos im Corpus

Jeder Teilnehmer, der eine Lösung beim ersten praktischen Übungsblatt abgegeben hat, sollte zum Zeitpunkt der Veröffentlichung dieses Übungsblatts ein persönliches Login erhalten haben. Dieses Login kann dafür benutzt werden, unter schloesser.uni-koblenz.de:8080/Evaluator/FrontController.jsp die Relevanz der 120 Photos für eine bestimmte Suche zu bewerten.

Jeder Teilnehmer aus einer 3er-Gruppe bewertet dabei eine andere Suche. Um die Relevanzbewertung nicht zu beeinflussen, bitte nicht miteinander über die zu bewertende Suche und die Photos sprechen, bevor nicht diese Teilaufgabe abgeschlossen ist.

Hinweis: Es ist möglich, die Relevanzbewertung jederzeit zu unterbrechen und später wieder zu starten. Die Ergebnisse werden jeweils in der Datenbank gespeichert, wenn man mit "Next" auf die nächste Seite blättert. Bereits bewertete Bilder werden bei einem erneuten Login nicht noch einmal angezeigt. So kann man z.B. in einer Werbepause mal ein paar Bilder bewerten oder wenn man noch ein paar Minuten bis zum nächsten Bus zu überbrücken hat.

II. Auswahl von Anfragen an das System

Jeder Teilnehmer soll für diese Aufgabe sich 3 konkrete Anfragen ausdenken, die möglichst relevante Photos für seine im vorherigen Schritt zu bewertende Suche zurückliefert. Jede Übungsgruppe sollte also insgesamt 9 Anfragen nach diesem Schritt haben. Diese Anfragen können im Folgenden an das Programm vom ersten praktischen Übungsblatt gestellt werden.

III. Implementierung von Evaluations-Metriken

Die Implementierung vom ersten praktischen Übungsblatt soll dahingehend erweitert werden, dass automatisch Precision, Recall, F-Measure und Precision@10 für die aktuelle Anfrage berechnet werden. Gehe dafür wie folgt vor:

1. Sobald die Relevanzbewertung abgeschlossen ist, können die Bewertungen per eMail an klaasd@uni-koblenz.de angefragt werden. Lege im Eclipse-Projekt ein neues Verzeichnis "bewertungen" an und kopiere die per eMail erhaltene Datei in dieses Verzeichnis.
2. Lade die neue Version von SearchApplication.java herunter und kopiere sie in den Eclipse-Workspace.
3. Erweitere den Konstruktor von IndexSearchAction in Zeile 53, so dass er als zusätzlichen Parameter hinter searchField noch eine JComboBox erwartet (jetzt sollten auch keine Compilationsfehler mehr angezeigt werden). Mit Hilfe von getSelectedItem() kann man von dieser JComboBox den momentan ausgewählten Benutzernamen erfahren.
4. Ersetze in SearchApplication.java Zeile 23 die Benutzernamen durch diejenigen, die eure Gruppe bei der Relevanzbewertung verwendet hat.
5. Modifiziere IndexCreationAction.actionPerformed(ActionEvent), so dass nicht mehr nach den SEARCH_TERMS gesucht wird, sondern stattdessen die Photos mit den IDs aus SearchApplication.PHOTO_IDS indexiert werden.
6. Erweitere IndexSearchAction.actionPerformed(ActionEvent), so dass bei der Rückgabe der Suchergebnisse direkt noch eine Evaluation durchgeführt wird. Die als relevant bewerteten Photo-IDs bekommt ihr von SearchApplication.getRelevantPhotoIDs(username) zurückgeliefert. Den momentan ausgewählten Benutzernamen könnt ihr von der unter 3. hinzugefügten JComboBox erfragen. Gib auf der Konsole die folgenden Evaluationsmetriken aus: Precision, Recall, F-Measure und Precision@10.

IV. Durchführen und Dokumentieren der Evaluation

Führe die Evaluation für die unter II. ausgedachten Suchanfragen durch. Probiere bei der Evaluation die verschiedenen Indizes durch und experimentier auch mit anderen Möglichkeiten zur Erstellung der Indizes. Wie wirkt sich z.B. aus, wenn in FlickrPhotoDocument.createNewPhotoDocument() statt Index.ANALYZED Index.ANALYZED_NO_NORMS verwendet wird?

Bereite für die Praxisabnahme Folien mit den Evaluationsergebnissen vor. Mit Hilfe dieser Folien sollt ihr die Ergebnisse und eure Schlussfolgerungen den anderen Übungsgruppen vorstellen. Überlegt euch, wie ihr die Ergebnisse am besten den anderen Gruppen präsentieren könnt. Jede Gruppe hat 10 Minuten Zeit, ihre Ergebnisse vorzustellen.

Referenzen

 SearchApplication.java