Re: [romip] Загрузка результата

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Re: [romip] Загрузка результата

Postby g.dernovoy » Fri Jul 04, 2003 12:33 pm

Из описания формата я понял, что не нужно указывать фрагменты документов,
которые программа
отнесла к запросу. Но это же нонсенс! Как можно определить качество поиска,
не зная, почему он сюда попал?
Можно ли будет серьезно относится к конечному результату (сравнению), если
изначально игнорируются определяющие и ключевые факторы?!

Георгий.


> Маленький вопрос по формату - закрывающий тег () в описании
> результатов по поиску случайно пропущен или в этом какой-то глубокий
> смысл?

хмм, а где там открывающий ?
или ты имеешь ввиду ? для него вроде есть закрывающий.
я смотрю на http://romip.narod.ru/format-results.html

если все-таки где-то нет закрывающего тега - то это конечно ляп,
XML желательно корректный

> Теперь об отправке результата. Для дорожки поиск у меня получается, что
> сжатый файл результата около 5Мб (или я в чем-то ужасно ошибся).

мы кстати призываем выдавать больше одного прогона для каждой дорожки -
например, базовый и с включенными продвинутыми свойствами -
так можно будет оценивать пользу от этих дополнительных вещей

Пересечение весьма вероятно будет большим, так что пулы вырастут
незначительно

> Было бы
> идеально загрузить его куда-нибудь на ftp. Я бы предложил такой порядок:
> 1. На неком ftp открывается каталог, с подкаталогами с именами цветов
> участников.
> 2. Все участники получают по рассылке login и пароль к своему каталогу
> 3. грузят свои результаты.

имено так мы и собираемся сделать,
сейчас выбираем сервер - с нормальным стабильным линком и
независимый от участников

Я думаю что мы его анонсируем примерно за неделю до deadline.

-igor
g.dernovoy
 
Posts: 12
Joined: Fri Jul 04, 2003 12:33 pm

Re: формат результатов для дорожки по поиску

Postby neigor » Fri Jul 04, 2003 12:46 pm

Целью оценки является не определение того
почему документ был выбран или почему он был не выбран.
Это задача, которую решает создатель системы для того, чтобы
улучшить качество поиска.

По условиям рассматриваемой задачи ответами являются документы и решение о
полезности ответа пользователь принимает на основании содержимого документа,
а не построенной аннотации. Качество аннотаций - это безусловно тоже важная
тема, но в этот раз мы не пытаемся ее оценивать.

Цель оценки - понять, насколько обнаруженные документы
подходят пользователю с заданной информационной потребностью.
Пользователю важен исключительо результат, а не почему система
сделала так, а не иначе.

После получения результатов, участники вольны любыми методами анализировать
поведение своих систем и выяснять почему система повела себя тем или иным
образом.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 20 guests

cron