| |
Материалы РОМИП
Материалы РОМИП состоят из:
- описания методологии (постановки задач и методики оценки результатов)
- наборов заданий
- коллекций
- таблиц релевантности, содержащих правильные ответы
- трудов, содержащих отчеты участников
Материалы анонимны и не содержат информации о качестве ответов того или иного участника,
за исключением той информации, что участник рассказал сам о себе в трудах.
Все материалы РОМИП открыты для всех заинтересованных в проведении
исследований.
Методология, задания и оценки свободно доступны на сайте семинара в разделе
соответствующей дорожки.
Труды публикуются как в печатном, так и электронном виде.
Процедура получения коллекций
Коллекции предоставляются оргкомитетом по запросу.
Процедура следующая:
- прислать заявку в оргкомитет, указав, какие коллекции вас интересуют
и для проведения каких исследований. Укажите также,
как вам удобнее получить колекции (через контактное лицо, по почте, по ftp
(если размер коллекции позволяет));
- электронно подписать соглашение об использовании данных.
Это PDF файл с возможностью вставки электронной подписи и даты. Для заполнения рекомендуется использовать последние версии
Adobe Acrobat или Adobe Acrobat Reader;
- электронно подписать дополнительные соглашения с владельцами коллекций, если необходимо;
- Переслать подписанные файлы в оргкомитет по e-mail.
Данные предоставляются бесплатно, необходимо компенсировать затраты на
носители и доставку.
Заявки принимаются по адресу: romip[AT]romip.ru
Участие в РОМИП
Несмотря на доступность всех данных есть несколько важных причин, по которым
полноценое участие в работе РОМИП полезно:
- Решаемые задачи объемны, а оценка производится частично.
Методология оценки предполагает сбор примерно равного объёма информации от экспертов
для результатов систем участников, что нельзя гарантировать для неучасттвовавших систем.
- Участники имеют возможность влиять на постановку задачи и методологию
оценки
- Возможность обсудить результаты и получить комментарии от ведущих специалистов в области информационного поиска в
России
Для того чтобы участвовать в РОМИП не обязательно представлять крупную
поисковую систему. Значительная часть участников РОМИП - это независимые
разработчики, исследовательские группы и студенты/аспиранты, которые
занимаются исследованиями в области информационного поиска.
|