инструмент для оценки

[neigor]

Добрый день,

все участники уже должны были получить таблицы релевантности
для дорожек, в которых они принимали участие.
Если кто-то по каким-то причинам не получил их, то обязательно
свяжитесь с оргкомитетом и мы решим эту проблему.

Оффициальный инструмент для оценки результатов РОМИП можно
скачать по адресу:
http://ir.apmath.spbu.ru/evaluate.jar.bz2
(1635260 байт, md5 - e32be65c48d58e5479f271dc650be0dd)

Распаковав архив, запускать инструмент нужно следующим образом
java -jar evaluate.jar .....
(Тестировалось с jdk1.4.2, но вероятно 1.4.1 или аже 1.4.0 тоже годится)

В ближайшее время мы опишем процесс добавления новых оценок в инструмент,
а также посчитаем и разошлем участникам информацию о средних
результатах и о результатах конкретной системы.

Если будут проблемы с (или в) инструментом, то, пожалуйста, сообщите
на romip@... - мы постараемся оперативно их поправить.

-igor

--------- Как использовать инструмент для оценки?

Программа использует механизм командной строки для общения с пользователем
и имеет следующие ключи:
-r | --run имя файла с оцениваемым прогоном (по умолчанию stdin)
-mx | --matrix имя файла содержащего таблицу релевантности
(задания x документы)
-t | --task тип прогона (classification|ad-hock).
-o | --output имя выходного файла (по умолчанию stdout)
-q | --taskId id задачи. Этот необязательный параметер служит для
получения оценок по конкретному запросу, а не
усредненный.
-? | -h | --help выводит список входных параметров.
--------

[neigor]

> запустить средства оценки удалось. Стоит отметить требование к системе:
> RAM 512Mb. Еще - опция -Xmx400M. Без этого дорожка по поиску обсчитываться
> не хотела.

я уточню у разработчика требования к системе,
но может

> Так как интерпретацию результатов хотелось бы включить в статью(и), есть
> следующие пожелания:

> 1. Очень интересно узнать лучший, худший, средний результаты по системам.

статистика готовится даже более детальная
(хотя конечно анонимная)

> 2. Неплохо было бы также получить формулы для оценок, либо ссылки, откуда
> они взяты. А именно: Average precision, R-precision (R=P?), F1.

я думаю все формулы такие же как в
http://meta.math.spbu.ru/~igor/papers/exp-survey/exp-survey.html
но я это уточню

> 3. Кроме того, для дорожки по поиску интересно было бы получить пары
> полнота-точность для построения графика, т.е. , ...,
> .

хорошо, попробуем.

-igor

[neigor]

Обращаю ваше внимание, что участники не обязаны ограничиваться
только оффициальными числами от оргкомитета, а вполне могут
(и мы очень надеемся что будут :) самостоятельно анализировать
результаты.

Мы не собираемся настаивать, что выбранные нами меры оценки самые лучшие,
и будем рады обсудить другие варианты, чтобы использовать их в последующем.

-igor