дорожка веб-поиска: инструкция асессора
Posted: Mon Jul 19, 2010 12:06 pmУважаемые участники дорожки веб-поиска!
На этой неделе начнется работа асессоров по оценке результатов.
Я хотел бы обсудить инструкцию, по которой работают асессоры.
В прошлом году использовалась следующая инструкция:
http://romip.ru/romip2009/21_appendix_B_WA.pdf
Присылайте свои замечания и пожелания по процедуре
оценки и инструкции асессору!
-----------
От себя добавлю, что постараюсь внедрить инструмент для дополнительной
оценки похожих документов by.web: в прошлом году мы обращали внимание
следующую проблему с согласованностью оценки - похожие (почти-дубли)
документы оцениваются по-разному.
Для повышения согласованности оценки предлагается после проведения
основного этапа оценки дополнительно предложить асессорам проверить
оценку кластеров похожих документов, для которых имеются
противоречивые оценки.
С уважением,
Михаил Агеев.
На этой неделе начнется работа асессоров по оценке результатов.
Я хотел бы обсудить инструкцию, по которой работают асессоры.
В прошлом году использовалась следующая инструкция:
http://romip.ru/romip2009/21_appendix_B_WA.pdf
Присылайте свои замечания и пожелания по процедуре
оценки и инструкции асессору!
-----------
От себя добавлю, что постараюсь внедрить инструмент для дополнительной
оценки похожих документов by.web: в прошлом году мы обращали внимание
следующую проблему с согласованностью оценки - похожие (почти-дубли)
документы оцениваются по-разному.
Для повышения согласованности оценки предлагается после проведения
основного этапа оценки дополнительно предложить асессорам проверить
оценку кластеров похожих документов, для которых имеются
противоречивые оценки.
С уважением,
Михаил Агеев.