Добрый день,
все участники уже должны были получить таблицы релевантности
для дорожек, в которых они принимали участие.
Если кто-то по каким-то причинам не получил их, то обязательно
свяжитесь с оргкомитетом и мы решим эту проблему.
Оффициальный инструмент для оценки результатов РОМИП можно
скачать по адресу:
http://ir.apmath.spbu.ru/evaluate.jar.bz2
(1635260 байт, md5 - e32be65c48d58e5479f271dc650be0dd)
Распаковав архив, запускать инструмент нужно следующим образом
java -jar evaluate.jar .....
(Тестировалось с jdk1.4.2, но вероятно 1.4.1 или аже 1.4.0 тоже годится)
В ближайшее время мы опишем процесс добавления новых оценок в инструмент,
а также посчитаем и разошлем участникам информацию о средних
результатах и о результатах конкретной системы.
Если будут проблемы с (или в) инструментом, то, пожалуйста, сообщите
на romip@... - мы постараемся оперативно их поправить.
-igor
--------- Как использовать инструмент для оценки?
Программа использует механизм командной строки для общения с пользователем
и имеет следующие ключи:
-r | --run имя файла с оцениваемым прогоном (по умолчанию stdin)
-mx | --matrix имя файла содержащего таблицу релевантности
(задания x документы)
-t | --task тип прогона (classification|ad-hock).
-o | --output имя выходного файла (по умолчанию stdout)
-q | --taskId id задачи. Этот необязательный параметер служит для
получения оценок по конкретному запросу, а не
усредненный.
-? | -h | --help выводит список входных параметров.
--------