Re: [romip] Одинаковая оценка дублей документов

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Re: [romip] Одинаковая оценка дублей документов

Postby SKrylov » Mon Mar 16, 2009 12:22 pm

Здравствуйте!

Я лично - против. Причина следующая: один и тот же человек в разное время по-разному оценивает один и тот же документ, не говоря уже об исходном и, скажем, его версии для печати, которые визуально разнятся. И с этим ничего сделать нельзя - так устроены люди. Если бы было не так, то все шахматисты играли бы одну и ту же партию в шахматы, но этого не происходит, поскольку в одной и той же позиции тот же шахматист, но в разных партиях,═делает разные ходы.

Пусть всё остаётся - как есть. Ничего страшного при этом в процессе оценивания ответов систем не происходит; пусть документ "А" считается релевантным зпаросу "X", в его копия "B" - нет. Ну и что с того? Оценки ответов систем всё равно ведь посчитать можно, не так ли? РОМИП исходит из единственно верного предположения, что человек-аксессор всегда прав, и рассматривает его ответ как результат эксперимента, который следует принимать как данное, как объективную реальность.═А вовсе не пытаться его исправить даже если кому-то он не нравится или кажется (или даже действительно является!) противоречивым. Нельзя сомневаться в оценках, полученных от аксессоров хотя бы по той причине, что других источников данных у нас нет. Пусть ситуация с дубликатами возникает: переживём ... Во всяком случае, таково моё личное мнение, коллеги.

С уважением,
Сергей Крылов


----- Original Message -----
From: Tatevosyan Sergey
To: romip@yahoogroups.com
Sent: Monday, March 16, 2009 1:55 PM
Subject: [romip] Одинаковая оценка дублей документов




Добрый всем день! :)
Для корректной оценки результатов по вебу предлагаю следующее: мы можем сделать базу цепочек дублей документов в коллекции КМ. Чтобы не возникло ситуации, когда один документ оценен релевантным, а другой, его дубль (например, версия для печати) - нерелевантным, после окончания оценки можно пройти скриптом по указанной базе и выявить такие случаи (если несколько документов по одному запросу входят в цепочку дублей, смотреть, одинаковые ли у них оценки; если нет - попросить того же человека переоценить документы для единообразия).
Замечание: это не все дубли, т.к. не все они ловятся нынешней версией механизма.

Если так нормально, ближе к процедуре оценки, предоставим базу.

SKrylov
 
Posts: 9
Joined: Tue Jul 08, 2008 8:46 am

Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 1 guest

cron