что такое NotJudged

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

что такое NotJudged

Postby neigor » Tue Sep 02, 2008 11:12 am

> У меня есть небольшой вопрос: что означает метрика "Not judged" ? Правильно
> ли я понимаю, что это - количество документов, выданных нашей системой,
> которые еще не оценены асессорами? Т.е. предполагается, что при окончании
> проверки результатов по всем прогонам значение этой метрики будет равно 0?

Да, это количество документов для которых нет оценок.

При вычислении оценок НЕ превышающих глубину пула, это значение
ТЕОРЕТИЧЕСКИ должно быть равно 0.

На практике это не всегда так по нескольким техническим причинам. В
частности:
a) асессоры не могут оценить документ по техническим причинам
(например, редирект или еще что-нибудь, что не дает возможность
выставить оценку)
б) документ не был включен в пул
(для некоторых полученных нами прогонов нам пришлось востанавливать
идентификаторы/url после их творческого преобразования участниками
(например, перестановка местами параметров cgi или другая нормализация
url), но в небольшом числе случаев мы не смогли востановить оригинальные
идентификаторы)

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 1 guest

cron