Re: Results

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Re: Results

Postby neigor » Fri Oct 03, 2003 2:38 pm

вот кое-какие пояснения:
Recall - полнота ответа (по всем поданным системой докментам).
Precision - точность ответа
Precision(5) и Precision(10) - точность по первым 5/10 документам
R-precision - точность на уровне общего количества релевантных документов
("R-точность" в тексте статьи)
Average precision - усредненая точность

Формулы есть в http://meta.math.spbu.ru/~igor/papers/exp-survey/node6.html
11-point matrix - значения точности на уровнях полноты 0%, 10%, ..., 100%
(это стандартная матрица используемая для построения графиков зависимости
точность-полнота - см. первый рисунок в
http://meta.math.spbu.ru/~igor/papers/exp-survey/node8.html)

Total not judged documents in run - общее количество документов для которых
не было оценок.

Я попрошу задокументировать важные мелочи (типа при отсутствии релевантных
документов полнота всегда 1) и разослать.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: Results

Postby dobroff2003 » Fri Oct 03, 2003 2:58 pm

Уважаемые коллеги!

как-то мне не до конца понятно о чем можно, а о чем не стоит
писать ДО очной встречи.

1) имеются на руках результаты, пусть даже будут помечены
цветами или цифрами

2) если в "отчетах" некоторые участники воспроизведут свои
кривые, то очевидными станут и результаты других участников

То есть:

а) необходимо обсудить дополнительно возникающие при этом этические
коллизии

б) с учетом "сжатого" времени, предлагаемым Игорем, опубликовать
максимум отчеты как "описание системы цвета N", не называяя
людей и организации.
Здесь могут быть доступны:
- цели, которые ставились
- общее описание применяемых методов;
- описание задействованных ресурсов (компьютеров, времени и т.п.)
- какие-то проблемы (обработка неполной коллекции)
- пожелания на будущее

в) решение о публикации результатов в более полном и открытом виде
будет приниматься при очной встрече (при возможном опросе остальных)

г) может быть и не стоит гнаться за публикацией ОБЯЗАТЕЛЬНО К RCDL2003.

Все ли участники уверены, что правильно за пару-тройку дней до
названного срока 5 октября, правильно смогут интерпретировать
такие интересные результаты. За себя я не уверен.

Здесь стоит вспомнить, что в TREC, который проводится уже много лет,
к конференции (в ноябре) собираются лишь draft материалы, а
окончательная редакция
выпускается где-то в феврале.


Коллеги!
Как всегда решение надо принимать срочно - высказывайтесь.


С наилучшими пожеланиями,
Б.Добров
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am


Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 10 guests

cron