 |  |
 |
|
Дорожка поиска по коллекции нормативных документов
Дорожка посвящена оценке методов решения традиционной задаче поиска по запросу в НЕ Веб коллекции. В РОМИП'2004 использовалась коллекция нормативных документов, предоставленная компанией Кодекс.Общая процедура проведения дорожки стандартна.
Сводная информация
- Набор данных:
коллекция ROMIP-2004-Legal (1.5 Гб).
(в набор включаются файлы вида legal.*, так и legal_training.*)
- Задания: выборка из журналов крупных поисковых систем работающих с
подобной информацией (Кодекс и
Парк.Ру)
(всего примерно 13000) - Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
- Шкала оценки релевантности: точно/вероятно/возможно/нет/невозможно оценить
- Количество оцениваемых заданий: 50 "понятия" + 41 "документы"
- Длина возвращаемых системой ответов на задания: до 100 ссылок
- Стандартные метрики:
- точность
- полнота
- 11-точечный график TREC
- Форматы:
- данных
- заданий
- результатов
- экспертных оценок