Ranking Analysis

Nach Definition der Retieval-Tasks in #48 (closed) wollen wir Relevance-Judgements aquirieren. Dazu können wir wie folgt vorgehen:

1. Zeit messen.
2. Alle Teilnehmer des Experiments versuchen die Retrieval-Tasks mithilfe der Suchmaschine zu erfüllen.
3. Unter den ersten k Ergebnissen (z.B. k=10) sollen dann relevante Dokumente als für den gegebenen Task relevant markiert werden. Diese Markierungen gelten dann als Ground-Truth für das Relevance-Judgement.
4. Wir verwenden eine ungerade Anzahl an Judges.
5. Sind mehr als die Hälfte der Judgements für ein Dokument positiv (also relevant) gilt es als relevant. Sonst gilt es als irrelevant.
6. Bei Auffälligkeiten gerne Notizen machen.
7. Diesen Ground-Truth können wir dann heranziehen, um für jeden Retrieval-Task folgende Maße zu bestimmen:

• recall@k
• precision@k
• F-Score

1. Die Log-Einträge sollten wir uns dann dazu auch anschauen und in die Analyse mit Einbeziehen.