 |  |
 |
|
Дорожка по тематической классификации нормативно-правовых документов
Задача
Дорожка посвящена классической задаче тематической классификации документов на основе коллекции нормативных документов.Общая процедура проведения дорожки стандартна.
Коллекция
Исходным набором данных является коллекция нормативных документов 2007.Формулировка задания для участвующей системы
Каждой системе-участнику предоставляется обучающее множество и множество документов из коллекции нормативных документов 2007. Надо присвоить каждому из документов коллекции категорию из этого обучающающего множества. Один и тот же документ может относиться сразу к нескольким категориям.Ответом системы для категории является упорядоченный по степени близости документа к категории список документов.
Методология оценки
- Оценка результатов будет проводится для некоторого количества выбранных случайным образом рубрик и будет основана на использовании полного каталога Кодекс (верифицированного экспертами вручную).
- официальные метрики:
- точность
- полнота