дорожка веб-поиска: инструкция асессора

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

дорожка веб-поиска: инструкция асессора

Postby ageev2003 » Mon Jul 19, 2010 12:06 pm

Уважаемые участники дорожки веб-поиска!

На этой неделе начнется работа асессоров по оценке результатов.

Я хотел бы обсудить инструкцию, по которой работают асессоры.

В прошлом году использовалась следующая инструкция:
http://romip.ru/romip2009/21_appendix_B_WA.pdf

Присылайте свои замечания и пожелания по процедуре
оценки и инструкции асессору!

-----------
От себя добавлю, что постараюсь внедрить инструмент для дополнительной
оценки похожих документов by.web: в прошлом году мы обращали внимание
следующую проблему с согласованностью оценки - похожие (почти-дубли)
документы оцениваются по-разному.

Для повышения согласованности оценки предлагается после проведения
основного этапа оценки дополнительно предложить асессорам проверить
оценку кластеров похожих документов, для которых имеются
противоречивые оценки.

С уважением,
Михаил Агеев.
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 1 guest

cron