Re: вопросы по метрикам

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Re: вопросы по метрикам

Postby neigor » Tue Jul 15, 2008 1:59 pm

Добрый день,

отвечаю в список рассылки, так как тема представляет общий интерес.

> 1. В файлах с прошлогодними оценками для дорожки поиска по коллекции КМ есть
> такая ситуация: запрос "мягкая мебель Италии" (id=42462), всего релевантных
> результатов - 0, для участников 1, 2, 3, 4, 5, 8, 9, которые не выдали ни
> одного документа по данному запросу, precision(10) и precision(5) равны 1, а
> для участников 7, 10, 11, которые на данный запрос выдали документы,
> precision(10) и precision(5) равны 0 (см. файл
> km\or\common\details_pd50.xml). В этом году precision будет считаться также?
> Может быть, это все-таки не очень корректно?

Навскидку я не помню, как данный частный случай принято интерпретировать.
Пару лет назад было обсуждение в котором в основном силами Игоря Кураленка и
Михаила Агеева такие частные случаи разбирались и было принято решение
как их интепретировать (в соответствии с тем как это делает TREC например).

Игорь, Михаил: не могли бы вы прокомментировать?

> 2. Допустим, на некоторый запрос мы имеем такую выдачу: ---+--++-- , где "-"
> - документ, оцененный как нерелевантный, "+" - документ, оцененный как
> релевантный. Не могли бы Вы расписать, как считается метрика bpref для
> данного запроса? А если точнее, то что обозначает число R в знаменателе?

R - это общее число релевантных документов, которые известны для
данного запроса.

Подробно о bpref -
http://www.itl.nist.gov/iad/IADpapers/2004/p102-buckley.pdf

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: вопросы по метрикам

Postby ageev2003 » Tue Jul 15, 2008 2:48 pm

Добрый день!

>> 1. В файлах с прошлогодними оценками для дорожки поиска по коллекции КМ есть
>> такая ситуация: запрос "мягкая мебель Италии" (id=42462), всего релевантных
>> результатов - 0, для участников 1, 2, 3, 4, 5, 8, 9, которые не выдали ни
>> одного документа по данному запросу, precision(10) и precision(5) равны 1, а
>> для участников 7, 10, 11, которые на данный запрос выдали документы,
>> precision(10) и precision(5) равны 0 (см. файл
>> km\or\common\details_pd50.xml). В этом году precision будет считаться также?
>> Может быть, это все-таки не очень корректно?

В TREC запросы, для которых нет релевантных документов, не участвуют в
оценке.

В метриках РОМИП'2004 мы это учли, и сделали также.

Если сейчас такие запросы оцениваются - то это ошибка, и надо бы ее
исправить.

С уважением,
Михаил Агеев.

IN> Навскидку я не помню, как данный частный случай принято интерпретировать.
IN> Пару лет назад было обсуждение в котором в основном силами Игоря Кураленка и
IN> Михаила Агеева такие частные случаи разбирались и было принято решение
IN> как их интепретировать (в соответствии с тем как это делает TREC например).

IN> Игорь, Михаил: не могли бы вы прокомментировать?

>> 2. Допустим, на некоторый запрос мы имеем такую выдачу: ---+--++-- , где "-"
>> - документ, оцененный как нерелевантный, "+" - документ, оцененный как
>> релевантный. Не могли бы Вы расписать, как считается метрика bpref для
>> данного запроса? А если точнее, то что обозначает число R в знаменателе?

IN> R - это общее число релевантных документов, которые известны для
IN> данного запроса.

IN> Подробно о bpref -
IN> http://www.itl.nist.gov/iad/IADpapers/2004/p102-buckley.pdf
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re: [romip] Re: вопросы по метрикам

Postby neigor » Tue Jul 15, 2008 2:59 pm

>>> 1. В файлах с прошлогодними оценками для дорожки поиска по коллекции КМ есть
>>> такая ситуация: запрос "мягкая мебель Италии" (id=42462), всего релевантных
>>> результатов - 0, для участников 1, 2, 3, 4, 5, 8, 9, которые не выдали ни
>>> одного документа по данному запросу, precision(10) и precision(5) равны 1, а
>>> для участников 7, 10, 11, которые на данный запрос выдали документы,
>>> precision(10) и precision(5) равны 0 (см. файл
>>> km\or\common\details_pd50.xml). В этом году precision будет считаться также?
>>> Может быть, это все-таки не очень корректно?
>
> В TREC запросы, для которых нет релевантных документов, не участвуют в
> оценке.
>
> В метриках РОМИП'2004 мы это учли, и сделали также.
>
> Если сейчас такие запросы оцениваются - то это ошибка, и надо бы ее
> исправить.

Судя по http://romip.ru/romip2007/romip2007_appendix_D.pdf
для этого задания были релевантные документы
(10 сильнорелевантных если я не ошибаюсь).

Насколько я понимаю, основная претензия к тому, что
тот кто ничего не вернул получает 1, а те, кто вернули
что-то, но все мимо - 0.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re[2]: [romip] Re: вопросы по метрикам

Postby ageev2003 » Tue Jul 15, 2008 3:15 pm

>>>> 1. В файлах с прошлогодними оценками для дорожки поиска по коллекции КМ
есть
>>>> такая ситуация: запрос "мягкая мебель Италии" (id=42462), всего релевантных
>>>> результатов - 0, для участников 1, 2, 3, 4, 5, 8, 9, которые не выдали ни
>>>> одного документа по данному запросу, precision(10) и precision(5) равны 1,
а
>>>> для участников 7, 10, 11, которые на данный запрос выдали документы,
>>>> precision(10) и precision(5) равны 0 (см. файл
>>>> km\or\common\details_pd50.xml). В этом году precision будет считаться
также?
>>>> Может быть, это все-таки не очень корректно?
>>
>> В TREC запросы, для которых нет релевантных документов, не участвуют в
>> оценке.
>>
>> В метриках РОМИП'2004 мы это учли, и сделали также.
>>
>> Если сейчас такие запросы оцениваются - то это ошибка, и надо бы ее
>> исправить.

IN> Судя по http://romip.ru/romip2007/romip2007_appendix_D.pdf
IN> для этого задания были релевантные документы
IN> (10 сильнорелевантных если я не ошибаюсь).

IN> Насколько я понимаю, основная претензия к тому, что
IN> тот кто ничего не вернул получает 1, а те, кто вернули
IN> что-то, но все мимо - 0.

Тем более неправильно: точность на уровне N документов равна
количеству релевантных из первых N, деленное на N.
То есть, если система вернула 0 документов, то Precision(N)=0.

Ссылка:
http://www-nlpir.nist.gov/projects/trecvid/trecvid.tools/trec_eval_video/README

Queries for which there is no relevance information are ignored.


4. Precision:
at 5 docs
at 10 docs
...
at 1000 docs
The precision (percent of retrieved docs that are relevant) after X
documents (whether relevant or nonrelevant) have been retrieved.
Values averaged over all queries. If X docs were not retrieved
for a query, then all missing docs are assumed to be non-relevant.
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re[2]: [romip] Re: вопросы по метрикам

Postby neigor » Tue Jul 15, 2008 9:52 pm

> IN> Насколько я понимаю, основная претензия к тому, что
> IN> тот кто ничего не вернул получает 1, а те, кто вернули
> IN> что-то, но все мимо - 0.
>
> Тем более неправильно: точность на уровне N документов равна
> количеству релевантных из первых N, деленное на N.
> То есть, если система вернула 0 документов, то Precision(N)=0.
>
> Ссылка:
>
http://www-nlpir.nist.gov/projects/trecvid/trecvid.tools/trec_eval_video/README
>
> Queries for which there is no relevance information are ignored.
>
>
> 4. Precision:
> at 5 docs
> at 10 docs
> ...
> at 1000 docs
> The precision (percent of retrieved docs that are relevant) after X
> documents (whether relevant or nonrelevant) have been retrieved.
> Values averaged over all queries. If X docs were not retrieved
> for a query, then all missing docs are assumed to be non-relevant.

спасибо за ссылку.
ты прав, надо будет исправить инструмент расчета оценок.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 2 guests

cron