Page 1 of 1

что такое NotJudged

PostPosted: Tue Sep 02, 2008 11:12 am
by neigor
> У меня есть небольшой вопрос: что означает метрика "Not judged" ? Правильно
> ли я понимаю, что это - количество документов, выданных нашей системой,
> которые еще не оценены асессорами? Т.е. предполагается, что при окончании
> проверки результатов по всем прогонам значение этой метрики будет равно 0?

Да, это количество документов для которых нет оценок.

При вычислении оценок НЕ превышающих глубину пула, это значение
ТЕОРЕТИЧЕСКИ должно быть равно 0.

На практике это не всегда так по нескольким техническим причинам. В
частности:
a) асессоры не могут оценить документ по техническим причинам
(например, редирект или еще что-нибудь, что не дает возможность
выставить оценку)
б) документ не был включен в пул
(для некоторых полученных нами прогонов нам пришлось востанавливать
идентификаторы/url после их творческого преобразования участниками
(например, перестановка местами параметров cgi или другая нормализация
url), но в небольшом числе случаев мы не смогли востановить оригинальные
идентификаторы)

-igor