РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Общая процедура проведения дорожки стандартна.

Коллекция

Исходный набор данных - коллекции Km.ru и BY.web.

Формулировка задания для участвующей системы

Система-участник получает коллекции Km.ru и BY.web и набор заданий. Набор заданий сформирован из:

  • всех запросов, которые оценивались в дорожке Веб поиска в предыдущих циклах РОМИП (2003-2006)
  • выборки запросов из лога Яндекс за 28 мая 2007 года (выбирались запросы, по которым что-то нашлось; каждый сотый; профильтровано порно фильтром). Дополнительно были удалены запросы, использующие специфику языка запросов Яндекс.
  • выборки из 10000 запросов к поиску по KM.ru
  • выборки из 10000 запросов из лога Яндекс с белорусских IP за конец мая 2008 года (были удалены запросы, использующие специфику языка запросов Яндекс, и проведена фильтрация простым порнофильтром)

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Предполагается, что результаты поиска будут предоставлены для коллекций KM.RU и BY.WEB отдельно (в отличии от дорожки по Веб поиску 2007 года).

Таким образом полное выполнение задания подразумевает предоставление двух (или большего числа) вариантов результатов - результат поиска по коллекции BY.Web и результат поиска по коллекции KM.RU.

Результаты поиска по объединенной коллекции также будут приниматься в качестве ответов систем, но расчет оценок будет производится по результатам сужения такого результата на соответствующую коллекцию.

Методология оценки

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
  • шкала оценки релевантности:
    • точно/возможно/вероятно/нет/невозможно оценить
    • да/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC
    • bpref

Форматы данных