Re: [romip] Re: формат результатов для доро

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Re: [romip] Re: формат результатов для доро

Postby g.dernovoy » Fri Jul 04, 2003 12:54 pm

В этом случае результаты будут весьма субъективны. Хотя если они так
задумывались изначально,
то, конечно, ничего тут не попишешь. Но, игнорируя тот факт, как именно
документ соотносится с запросом
(основная тема, одна из тем, связанное тема, упоминание, отсылка и т.п. )
игнорируется весьма существенная, и ,на наш взгляд, определяющая информация.

----- Original Message -----
From: "Igor Nekrestyanov" igor@...>
To: romip@yahoogroups.com>
Sent: 4 июля 2003 г. 15:46
Subject: [romip] Re: формат результатов для дорожки по поиску


Целью оценки является не определение того
почему документ был выбран или почему он был не выбран.
Это задача, которую решает создатель системы для того, чтобы
улучшить качество поиска.

По условиям рассматриваемой задачи ответами являются документы и решение о
полезности ответа пользователь принимает на основании содержимого документа,
а не построенной аннотации. Качество аннотаций - это безусловно тоже важная
тема, но в этот раз мы не пытаемся ее оценивать.

Цель оценки - понять, насколько обнаруженные документы
подходят пользователю с заданной информационной потребностью.
Пользователю важен исключительо результат, а не почему система
сделала так, а не иначе.

После получения результатов, участники вольны любыми методами анализировать
поведение своих систем и выяснять почему система повела себя тем или иным
образом.

-igor
g.dernovoy
 
Posts: 12
Joined: Fri Jul 04, 2003 12:33 pm

Re: [romip] Re: формат результатов для дорожки по поиску

Postby neigor » Fri Jul 04, 2003 1:05 pm

Результаты в любом случае субъективны. пользователь вообще всегда субъективен.
Мы пытаемся бороться с епрекосом за счет дублирования оценок и
разбиения пула на части.

Мы не игнорируем факт возможной типизации
связи документа с запросом, мы его не оцениваем.

Вообще, по идее тип связи скрывается алгоритмом ранжирования,
который может использовать это понятие, а может игнорировать.

Угадывание типа связи можно пытаться оценивать, но это гораздо менее надежно.
Известно, что как только шкала оценки становится более детальной,
то пользовательские оценки резко теряют согласованность.

В этот раз мы фокусируемся на том, насколько выданный список документов
помогает пользователю найти ответ на вопрос после изучения _этих_
документов.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 10 guests

cron