 |  |
 |
|
Дорожка поиска по смешанной коллекции
Задача
Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по разнородной коллекции документов.
Общая процедура проведения дорожки стандартна.
Коллекция
Исходный набор данных - объединение коллекций документов Narod.ru и коллекции нормативных-документов.В набор включаются документы из всех архивов - narod.*, legal.* и *_training.*.
Формулировка задания для участвующей системы
Cистема-участник получает объединение коллекций Narod.ru и Legal и набор заданий.Набор заданий представляет собой объединение запросов из дорожек по Веб поиску и поиску нормативных документов. Таким образом, всего около 37100 запросов.
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.
Методология оценки
- постановка задания ассессору:
Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности. - метод оценки: метод "общего котла" (pooling) с глубиной пула 50
- шкала оценки релевантности:
- точно/возможно/вероятно/нет/невозможно оценить
- и да/нет/невозможно оценить
- официальные метрики:
- точность
- полнота
- 11-точечный график TREC
Результаты оценки
- Список оценивавшихся заданий
- Таблицы релевантности
- Сводные результаты систем