РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Материалы РОМИП

Материалы РОМИП состоят из:
  • описания методологии (постановки задач и методики оценки результатов)
  • наборов заданий
  • коллекций
  • таблиц релевантности, содержащих правильные ответы
  • трудов, содержащих отчеты участников

Материалы анонимны и не содержат информации о качестве ответов того или иного участника, за исключением той информации, что участник рассказал сам о себе в трудах.

Все материалы РОМИП открыты для всех заинтересованных в проведении исследований.

Методология, задания и оценки свободно доступны на сайте семинара в разделе соответствующей дорожки. Труды публикуются как в печатном, так и электронном виде.

Процедура получения коллекций

Коллекции предоставляются оргкомитетом по запросу.
Процедура следующая:

  • прислать заявку в оргкомитет, указав, какие коллекции вас интересуют и для проведения каких исследований. Укажите также, как вам удобнее получить колекции (через контактное лицо, по почте, по ftp (если размер коллекции позволяет));
  • электронно подписать соглашение об использовании данных. Это PDF файл с возможностью вставки электронной подписи и даты. Для заполнения рекомендуется использовать последние версии Adobe Acrobat или Adobe Acrobat Reader;
  • электронно подписать дополнительные соглашения с владельцами коллекций, если необходимо;
  • Переслать подписанные файлы в оргкомитет по e-mail.

Данные предоставляются бесплатно, необходимо компенсировать затраты на носители и доставку.

Заявки принимаются по адресу: romip[AT]romip.ru

Участие в РОМИП

Несмотря на доступность всех данных есть несколько важных причин, по которым полноценое участие в работе РОМИП полезно:

  • Решаемые задачи объемны, а оценка производится частично. Методология оценки предполагает сбор примерно равного объёма информации от экспертов для результатов систем участников, что нельзя гарантировать для неучасттвовавших систем.
  • Участники имеют возможность влиять на постановку задачи и методологию оценки
  • Возможность обсудить результаты и получить комментарии от ведущих специалистов в области информационного поиска в России

Для того чтобы участвовать в РОМИП не обязательно представлять крупную поисковую систему. Значительная часть участников РОМИП - это независимые разработчики, исследовательские группы и студенты/аспиранты, которые занимаются исследованиями в области информационного поиска.