РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по документу-образцу

Задача

Дорожка посвящена оценке методов решения задачи поиска по запросу с использованием обратной связи от пользователя. В рамках этой же дорожки проводится косвенное тестирование эффективности методов поиска по документу-образцу.

Общая процедура проведения дорожки стандартна.

Коллекция

Исходным набором данных является объединение коллекций BY.web, KM.ru и коллекции нормативно-правовых документов 2007.

Формулировка задания для участвующей системы

Каждой системе предоставляется объединенная коллекция и набор заданий (всего около 23000) вида запрос и один релевантный документ. Задания строятся на основе тех наборов заросов, которые оценивывались в РОМИП'2007-2010. Релевантным документом для каждого запроса считается документ, оцененный, как строго релевантный, то есть все ассессоры признали его таковым.

Ответ системы, как и для других дорожек по поиску, есть упорядоченный список до 100 документов.

Методолгия оценки

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному(фразовому) запросу на основе расширенного описания информационной потребности. Соответсвующий запросу документ-образец ассессор не увидит.
  • метод оценки: метод "общего котла" (pooling) c глубиной пула 50
  • шкала оценки релевантности:
    • точно/возможно/вероятно/нет/невозможно оценить
    • да/нет/невозможно оценить
  • официальные метрики
    • точность
    • полнота
    • 11-точечный график TREC
    • bpref

Форматы данных