Ranking Analysis
Nach Definition der Retieval-Tasks in #48 (closed) wollen wir Relevance-Judgements aquirieren. Dazu können wir wie folgt vorgehen:
- Zeit messen.
- Alle Teilnehmer des Experiments versuchen die Retrieval-Tasks mithilfe der Suchmaschine zu erfüllen.
- Unter den ersten
k
Ergebnissen (z.B.k=10
) sollen dann relevante Dokumente als für den gegebenen Task relevant markiert werden. Diese Markierungen gelten dann als Ground-Truth für das Relevance-Judgement. - Wir verwenden eine ungerade Anzahl an Judges.
- Sind mehr als die Hälfte der Judgements für ein Dokument positiv (also relevant) gilt es als relevant. Sonst gilt es als irrelevant.
- Bei Auffälligkeiten gerne Notizen machen.
- Diesen Ground-Truth können wir dann heranziehen, um für jeden Retrieval-Task folgende Maße zu bestimmen:
recall@k
precision@k
F-Score
- Die Log-Einträge sollten wir uns dann dazu auch anschauen und in die Analyse mit Einbeziehen.