Дорожка поиска по коллекции нормативных документовЗадачаДорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции. Общая процедура проведения дорожки стандартна. КоллекцияВ этом цикле, как и РОМИП'2004, в качестве исходного набора данных используется коллекция нормативных документов, предоставленная компанией Кодекс.Поиск необходимо производить по документам из всех архивов - legal.* и legal_training.*. Формулировка задания для участвующей системыСистема-участник получает коллекцию нормативных документов и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем, работающих с подобной информацией (Кодекс и Парк.Ру). Всего примерно 13000. Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок. Методолгия оценки
Результаты оценки
Подробное описание методики оценки и официальных метрик можно найти в трудах семинара за 2005 год. Форматы данных |