by sergei_tatevosian » Tue Sep 29, 2009 2:14 pm
С Legal-ом вообще все плохо, потому что каждый год аксессоры не знают, что
от них требуется оценивать результаты поиска, а не юридическую реальность,
данную им в полностью обновившихся документах. В 2010 году у них все
документы в коллекции будут нерелевантны. ИМХО, при таких вводных дорожку
надо просто отменить - какой в ней смысл, если перед оценкой надо вколотить
в мозг юристов одну единственную фразу "оценивай документ, а не то, что
появилось 10 обновлений представленных в коллекции документов" и каждый год
это не делается. Плюс к тому, за запрос о к-л законе все рассмотрения актов,
относящихся к нему и разные его редакции тоже считаются оценщиками
нерелевантными. Вопрос: зачем их (юристов) приглашали? Они как раз все
делают по-своему. А нам надо по-нашему. Предлагаю в качестве оценщиков по
коллекции Legal посадить обычных людей. В Legal документы подлиннее, но
ничего - прокрутят, почитают.
[romip] Re: заметки с круглого стола в Петрозаводске
> P@1 это Precision(1)?
Да. Точность на уровне 1.
На мой взгляд, введение метрик p@1 и mean reciprocal rank будет особенно
полезным для оценки результатов по коллекции legal, поскольку задания по
этой коллекции традиционно содержат большую долю навигационных запросов.