Page 1 of 1

дорожка веб-поиска: инструкция асессора

PostPosted: Mon Jul 19, 2010 12:06 pm
by ageev2003
Уважаемые участники дорожки веб-поиска!

На этой неделе начнется работа асессоров по оценке результатов.

Я хотел бы обсудить инструкцию, по которой работают асессоры.

В прошлом году использовалась следующая инструкция:
http://romip.ru/romip2009/21_appendix_B_WA.pdf

Присылайте свои замечания и пожелания по процедуре
оценки и инструкции асессору!

-----------
От себя добавлю, что постараюсь внедрить инструмент для дополнительной
оценки похожих документов by.web: в прошлом году мы обращали внимание
следующую проблему с согласованностью оценки - похожие (почти-дубли)
документы оцениваются по-разному.

Для повышения согласованности оценки предлагается после проведения
основного этапа оценки дополнительно предложить асессорам проверить
оценку кластеров похожих документов, для которых имеются
противоречивые оценки.

С уважением,
Михаил Агеев.