 |  |
 |
|
Дорожка поиска по Веб коллекции
Задача
Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.
Общая процедура проведения дорожки стандартна.
Коллекция
Исходный набор данных - коллекции Km.ru и BY.web.Формулировка задания для участвующей системы
Система-участник получает коллекции Km.ru и BY.web и набор заданий. Набор заданий повторяет набор заданий 2008 года и сформирован из:
- всех запросов, которые оценивались в дорожке Веб поиска в предыдущих циклах РОМИП (2003-2006)
- выборки запросов из лога Яндекс за 28 мая 2007 года (выбирались запросы, по которым что-то нашлось; каждый сотый; профильтровано порно фильтром). Дополнительно были удалены запросы, использующие специфику языка запросов Яндекс.
- выборки из 10000 запросов к поиску по KM.ru
- выборки из 10000 запросов из лога Яндекс с белорусских IP за конец мая 2008 года (были удалены запросы, использующие специфику языка запросов Яндекс, и проведена фильтрация простым порнофильтром)
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.
Предполагается, что результаты поиска будут предоставлены для коллекций KM.RU и BY.WEB отдельно (в отличии от дорожки по Веб поиску 2007 года).
Таким образом полное выполнение задания подразумевает предоставление двух (или большего числа) вариантов результатов - результат поиска по коллекции BY.Web и результат поиска по коллекции KM.RU.
Результаты поиска по объединенной коллекции также будут приниматься в качестве ответов систем, но расчет оценок будет производится по результатам сужения такого результата на соответствующую коллекцию.
Методология оценки
- постановка задания ассессору:
Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности. - метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
- шкала оценки релевантности:
- точно/возможно/вероятно/нет/невозможно оценить
- да/нет/невозможно оценить
- официальные метрики:
- точность
- полнота
- 11-точечный график TREC
- bpref