В этом случае результаты будут весьма субъективны. Хотя если они так
задумывались изначально,
то, конечно, ничего тут не попишешь. Но, игнорируя тот факт, как именно
документ соотносится с запросом
(основная тема, одна из тем, связанное тема, упоминание, отсылка и т.п. )
игнорируется весьма существенная, и ,на наш взгляд, определяющая информация.
----- Original Message -----
From: "Igor Nekrestyanov" igor@...>
To: romip@yahoogroups.com>
Sent: 4 июля 2003 г. 15:46
Subject: [romip] Re: формат результатов для дорожки по поиску
Целью оценки является не определение того
почему документ был выбран или почему он был не выбран.
Это задача, которую решает создатель системы для того, чтобы
улучшить качество поиска.
По условиям рассматриваемой задачи ответами являются документы и решение о
полезности ответа пользователь принимает на основании содержимого документа,
а не построенной аннотации. Качество аннотаций - это безусловно тоже важная
тема, но в этот раз мы не пытаемся ее оценивать.
Цель оценки - понять, насколько обнаруженные документы
подходят пользователю с заданной информационной потребностью.
Пользователю важен исключительо результат, а не почему система
сделала так, а не иначе.
После получения результатов, участники вольны любыми методами анализировать
поведение своих систем и выяснять почему система повела себя тем или иным
образом.
-igor