Добрый день,
отвечаю в список рассылки, так как тема представляет общий интерес.
> 1. В файлах с прошлогодними оценками для дорожки поиска по коллекции КМ есть
> такая ситуация: запрос "мягкая мебель Италии" (id=42462), всего релевантных
> результатов - 0, для участников 1, 2, 3, 4, 5, 8, 9, которые не выдали ни
> одного документа по данному запросу, precision(10) и precision(5) равны 1, а
> для участников 7, 10, 11, которые на данный запрос выдали документы,
> precision(10) и precision(5) равны 0 (см. файл
> km\or\common\details_pd50.xml). В этом году precision будет считаться также?
> Может быть, это все-таки не очень корректно?
Навскидку я не помню, как данный частный случай принято интерпретировать.
Пару лет назад было обсуждение в котором в основном силами Игоря Кураленка и
Михаила Агеева такие частные случаи разбирались и было принято решение
как их интепретировать (в соответствии с тем как это делает TREC например).
Игорь, Михаил: не могли бы вы прокомментировать?
> 2. Допустим, на некоторый запрос мы имеем такую выдачу: ---+--++-- , где "-"
> - документ, оцененный как нерелевантный, "+" - документ, оцененный как
> релевантный. Не могли бы Вы расписать, как считается метрика bpref для
> данного запроса? А если точнее, то что обозначает число R в знаменателе?
R - это общее число релевантных документов, которые известны для
данного запроса.
Подробно о bpref -
http://www.itl.nist.gov/iad/IADpapers/2004/p102-buckley.pdf
-igor