РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка контекстно-зависимого аннотирования текстовых документов

Задача

Дорожка посвящена оценке методов решения задачи контекстно-зависимого аннотирования текстовых документов.

Общая процедура проведения дорожки стандартна.

Коллекция

Исходный набор данных - объединение коллекций коллекции Narod.ru и коллекции нормативных-документов.

Аннотированию подлежат только документы, упоминающиеся в задании.

Формулировка задания для участвующей системы

Система-участник получает колекции Narod.ru и Legal и набор заданий вида "запрос и документ". Система должна предоставить аннотацию этого документа по этому запросу.

Набор заданий был создан на основе множества запросов, которые оценивались при проведении РОМИП'2003-РОМИП'2005.

Ответом системы для задания является фрагмент текста не более 300 символов без HTML разметки.

Методология оценки

Методология оценки находится в стадии обсуждения.
  • постановка задачи ассессору (полная инструкция):
    Асессор оценивает релевантность документа запросу по аннтотации этого документа. Сам документ ассессор не увидит.
    При оценке асессор будет видеть название (первые 100 символов) и аннотацию. Размер названия не учитывается в размере аннотации.
  • шкала оценки
    • точно/возможно/вероятно/нет/невозможно оценить
    • да/нет/невозможно оценить
  • официальные метрики:
    мера согласованности оценок для полных документов, полученных в дорожке поиска по запросу, и для аннотаций, полученныхв данной дорожке

Форматы данных