Дорожка вопросно-ответного поиска

Задача

Эта дорожка посвящена задачам, связанным с поиском ответов на поставленный вопрос.

Коллекция

Формулировка задания для участвующей системы

Система-участник получает коллекцию BY.web и набор заданий.

Набор заданий содержит 9617 запросов из лога крупной поисковой системы, содержащих вопросительные слова.

Выдачей системы на каждый вопрос является упорядоченный список ответов длиной не более 5. Ответ систем состоит из 3 частей - первоисточник, краткий ответ на вопрос, фрагмент текста из первоисточника (до 300 символов), содержащий ответ.

Методология оценки

• На основании полученных результатов оргкомитет отберет запросы для оценки. Точное число запросов будет определено позднее, в выборку обязательно попадут запросы разных типов (к определению, к обстоятельству и т.д.)
• Задание асессору:
  Ассессор просматривает аннотации с ответами и cоответсвующий документ, отвечая на следующий ряд вопросов:
  • есть ли ответ на поставленный вопрос в аннотации?
  • кажется ли по аннотации, что ответ содержиться в целом документе?
  • есть ли ответ в документе?
  Ассесор формулирует "правильный" ответ ("ключевой признак").
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50
• шкала оценки релевантности:
  
  • ответ есть в аннотации/возможно ответ есть в документе/в документе есть ответ/ответа нет/невозможно оценить
• Стандартные метрики:
  • точность
  • полнота

Форматы данных

• коллекции
• заданий
• результатов