Поисковые дорожки

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Поисковые дорожки

Postby neigor » Tue Apr 05, 2005 6:05 pm

Добрый день,

мое текущее понимание того, что мы делаем:

1) поиск по нормативной коллекции
Коллекция Legal-2004 (та же что была в прошлом году)
Тот же набор запросов, что и в прошлом году

2) поиск по Веб коллекции
Коллекция Narod.Ru (возможно лишь с небольшимb изменениями формата
хранения данных, чтобы он был более целостным)
Набор запросов прошлогодний (+возможно некоторое его расширение,
если у нас получится получить соответствующие журналы)

==========
Пояснение: Почему те же запросы?

Во-первых это НЕ значит, что оцениваться будут те же самые запросы

Во-вторых, мы предполагаем, что те, кто участвует в РОМИП не первый год
все равно не пускают ту же самую систему каждый раз. То есть ответы
систем будут отличаться от прошлогодних. (а если система не развивается,
то значит она уже идеальна и зачем тогда ее опять оценивать? :)

В-третьих, у нас есть возможность включить в котлы для оценки документы,
найденные системами в прошлом году. Увеличение числа реальных прогонов,
которые использовались для формирования котлов и наверное позволит улучшить
аппроксимацию полноты. Насколько это реально полезно покажет практика.

==========

3) смешанная коллекция

Несколько раз поднимался вопрос о такой дорожке. Насколько я понимаю,
основной вопрос тут - как перекос коллекции скажется на результатах
(вероятность найти правильный ответ на нормативно правовой запрос в
Narod.Ru есть, но не велика. А для типового Веб запроса ответ в
нормативно-правовой коллекции тоже не особо вероятен.
Но возможно изменение статистики распределения слов скажется и на итоговом
ранжировании.

Предлагается провести ее в следующем варианте:
- желающие объединяют коллекции и прогоняют по ним объединенный набор
запросов.
- при подаче такого прогона это анонсируется
- при отборе запросов для оценки будет выбрано какое-то количество
запросов для которых смешение вызвало заметные возмущения.
(появление ответов из "чужой" коллекции или значительное изменение
порядка ответов)
- оценка производится в рамках оценки для первых двух дорожек
(расширяются соответствующие котлы)

Вопросы:
- понятна ли постановка?
- интересна ли она?
- есть ли предложения по ее модификации?


ПОИСК ПО ДОКУМЕНТУ ОБРАЗЦУ:
несмотря на обсуждение в форуме и даже появление каких-то компромисных
постановок задач (например поиск по параграфу), похоже что реально
участвовать в этой дорожке готов лишь SearchInform.
Или это еще кому-то интересно?
Если не заципливаться на поиске нечетких дублей, а трактовать задачу
как поиск по "длинному запросу", то можно, например, как и предлагалось
нагенирить цитат (например, параграф до 300 слов в котором есть ключевые
слова) из прошлогодних релевантных ответов и выдать их как еще одно задание
(отличающееся только способом задания запроса. Оценка может выглядеть так
- для запроса мы попросим выбрать цитату(ы) хорошо его описывающую.
Сами документы будут оцениваться глядя на исходный запрос, а
у системы будут оцениваться прогоны полученные по "хорошим" цитатам).
Все равно часть старых запросов наверное будет оцениваться.
Этот вариант кому-нибудь интересен?
Если желающий будет всего один, а организацию дорожки не удастся
совместить с другими, то скорее всего такой дорожки в этом году не будет :(

Комментарии/предложения по любой из дорожек очень приветствуются.
В особенности от тех кто уже подал на них заявки или планирует это сделать :)

-igor

p.s.
Текущая информация о полученных заявках
- http://romip.narod.ru/ru/2005/participants.html
(правда сейчас это не совсем последний вариант)
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Смешанный поиск

Postby maxgubin » Wed Apr 06, 2005 9:29 am

Уважаемые коллеги!

Хочу немного пояснить о "смешанном" поиске, возможно, после этого количество
участников в данной дорожке увеличится.
На самом деле проблема поиска по смешанным коллекциям не такая уж и редкая,
можно привести разные практические примеры:
Локальный поиск на компьютере - файлы + почта + IM сообщения
Поиск на портале - страницы + новости
Поиск в библиотеке - книги + статьи журналов и т.д.

То есть в любом случае есть в коллекции массивы явно разнородных документов.
Запросы пользователей могут быть как сфокусированными на один из массивов,
так и требующими "взвешенное" представление из всех массивов. В случае
РОМИП, мы получим только запросы первого типа.

В идеальном случае, система должна показывать стабильные показатели, т.е.
для данного набора запросов, например, 11 точечный график для отдельных
коллекций и для смешанной коллекции должен не отличаться. Но я для своей
системы точно знаю, что, по крайней мере, сейчас, для некоторых случаев
смешанных коллекций есть заметное ухудшение, хотя я не проверял для
РОМИПовских.


С точки зрения алгоритма системы, если мы говорим о статистическом подходе,
данный эксперимент позволяет изучить:
- робастность алгоритма, т.е. его устойчивость к зашумлению исходных данных.
Например, многие системы перед поиском при анализе запроса определяют
ограничения на фильтрацию по расстоянию и наличию терминов. Если эти
ограничения оказываются слишком мягкими, они рискуют "зачерпывать" много
лишних документов из "не той" коллекции.
- наличие смещений в оценке релевантности, которые не видны на однородных
коллекциях. Например, если система сильно переоценивает документы, которые
попадают в граф гиперссылок, то она будет "вытаскивать" документы коллекции
имеющей более связанный граф, а не те, которые релевантны.

Наверное, можно придумать еще что-то.

Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

Re: [romip] Поисковые дорожки

Postby leomatveev1969 » Wed Apr 06, 2005 6:48 pm

Hello Igor,

Tuesday, April 5, 2005, 10:05:30 PM, you wrote:


IN> 1) поиск по нормативной коллекции
IN> Коллекция Legal-2004 (та же что была в прошлом году)
IN> Тот же набор запросов, что и в прошлом году

Мы готовы подключиться к этому тесту.

IN> 2) поиск по Веб коллекции
IN> Коллекция Narod.Ru (возможно лишь с небольшимb изменениями формата
IN> хранения данных, чтобы он был более целостным)
IN> Набор запросов прошлогодний (+возможно некоторое его расширение,
IN> если у нас получится получить соответствующие журналы)

В этом тесте тоже готовы учавствовать.


IN> ПОИСК ПО ДОКУМЕНТУ ОБРАЗЦУ:
IN> несмотря на обсуждение в форуме и даже появление каких-то компромисных
IN> постановок задач (например поиск по параграфу), похоже что реально
IN> участвовать в этой дорожке готов лишь SearchInform.
IN> Или это еще кому-то интересно?
IN> Если не заципливаться на поиске нечетких дублей, а трактовать задачу
IN> как поиск по "длинному запросу", то можно, например, как и предлагалось
IN> нагенирить цитат (например, параграф до 300 слов в котором есть ключевые
IN> слова) из прошлогодних релевантных ответов и выдать их как еще одно задание
IN> (отличающееся только способом задания запроса.
На мой взгляд не совсем корректная потсановка задачи. В больших
корпоративных системах очень критичны 2 момента

- проблема информационной размытости, когла из разных источников
вводятся практически одлинакрвые документы, но не бинароно одинаковые,
а нде например другой заголовок и т.д. или пропущены пару предложений,
или наоборот что-то чуть изменено. И в этом случае шинглы не
отлавливают этой ситуации.

- Возможность найдя первый интересный документ по фразовому поиску
нажать кнопку " найти похожие " что очень сокращает время проведения
поиска.

Господа может всеже естиь смысл приближать дорожки к запросам
корпоративщиков, а не тестировать то что есть у всех?

Сорри за возможно излишнюю резкость, но считаю что моя точа зрения
имеет правл на жизнь. Также хотел бы еще предложить ряд тем и дорожек
связанных со скоростными характеристиками

-- оценка склорости индексации например 50гиг -- текстовую информацию
готов преждоставить на DVD -- там много всекго разного -- и книги и
тексты патентов и т.д. Естественно тестировать надо на одной и той же
аппаратуре. Давайте если надо я лично договоррюсь с производителями
жедлеза(ну например с нашим OEM партнером k-systems) чтобы для тестов
предостваили например 10 абсолютног одинаковых компов.

-- После индексации гененрируем например 10,000 запросов фразовых и
оценивает опять таки на одинаковых компах время каждой из систем.



--


--
Best regards,
Leo Matveev
SoftInform mailto:swrus@...
leomatveev1969
 
Posts: 7
Joined: Tue Feb 08, 2005 8:10 am

Re: [romip] Поисковые дорожки

Postby neigor » Thu Apr 07, 2005 10:45 am

Добрый день,

> IN> ПОИСК ПО ДОКУМЕНТУ ОБРАЗЦУ:
> IN> несмотря на обсуждение в форуме и даже появление каких-то компромисных
> IN> постановок задач (например поиск по параграфу), похоже что реально
> IN> участвовать в этой дорожке готов лишь SearchInform.
> IN> Или это еще кому-то интересно?
> IN> Если не заципливаться на поиске нечетких дублей, а трактовать задачу
> IN> как поиск по "длинному запросу", то можно, например, как и предлагалось
> IN> нагенирить цитат (например, параграф до 300 слов в котором есть ключевые
> IN> слова) из прошлогодних релевантных ответов и выдать их как еще одно
задание
> IN> (отличающееся только способом задания запроса.
>
> На мой взгляд не совсем корректная потсановка задачи. В больших
> корпоративных системах очень критичны 2 момента

Есть много интересных задач в области информационного поиска,
и для разных контекстов разные задачи наиболее критичны.
Те постановки, что вы описываете ниже, вполне имеют право на жизнь
(и на жизнь в рамках РОМИП тоже :), но

РОМИП - это добровольный семинар, на котором рассматриваются те задачи,
которые интересны участникам (интерес которых в свою очередь зачастую
стимулирован практическими потребностями их клиентов).
[см. http://romip.narod.ru/ru/rules.html)

Мне не совсем понятно, в чем "некорректность" предложенной постановки?
В том, что есть более интересные вам задачи?

Вообще, при выборе постановки задачи для дорожки мы исходим из:
1) максимизации числа участников
Всегда ищется компромисный вариант, хотя возможно и не
самый идеальный для каждого участника.
У нас просто физически не хватит сил организовать все возможные
дорожки, да и пользы больше когда можно сравнить свой результат
с чужим.
[поэтому предложили использовать параграфы - только эта постановка
вызвала какой-то интерес при обсуждении этой дорожки ранее]
2) Реализуемости
Должны быть понятны ответы на следующие вопросы:
- как формулируется задание (что система получает на вход,
что выдает, какую задачу решает)
- какая коллекция (она должна быть легальной!)
- как подготовить задания (конкретно)
(например, для Веб поиска запросы брались из реального журнала
поисковой системы)
- как будет выглядеть процедура оценки
(что оценивают ассессоры и примерная трудоемкость оценки)

Очень важнен пункт связанный с оценкой - она проводится в короткие сроки
и поэтому большой объем хорошо не сделать. Поэтому мы стремимся склеивать
оценку разных дорожек, если это возможно без значительного ущерба постановке
задачи.

> - проблема информационной размытости, когла из разных источников
> вводятся практически одлинакрвые документы, но не бинароно одинаковые, а
> нде например другой заголовок и т.д. или пропущены пару предложений, или
> наоборот что-то чуть изменено. И в этом случае шинглы не отлавливают этой
> ситуации.

как вы представляете реализацию такой дорожки?

Искуственно генерировать такую коллекцию - это неправильно.
Новостная коллекция наверное слишком мала (хотя при построении сюжетов
подобные технологии вполне можно потестировать). А в narod.ru
я не уверен есть ли такие дубли.

> - Возможность найдя первый интересный документ по фразовому поиску
> нажать кнопку " найти похожие " что очень сокращает время проведения
> поиска.

Это мы наверное можем сделать следующим образом.

Сгенерировать набор заданий запрос+релевантный_документ
на основе оценок РОМИП'2003/2004.

Желающие их выполняют и оценка будет производится в рамках оценки
по дорожки по Веб-поиску/смешанному поиску (что дает нам возможность сделать
эту дорожку даже для малого числа участников).

Хочу отметить, однако, что такой подход означает, что оценка асессорами
будет производится лишь по исходному запросу, то есть мы предполагаем,
что пользователь все же ищет по исходному запросу,
а документ выдал лишь для уточнения потребности (relevance feedback).

Это в принципе должно быть нормально, поскольку в прошлые циклы РОМИП
запросы при оценке аннотировалиcь, что фиксировало одну их трактовку.

> Господа может всеже естиь смысл приближать дорожки к запросам
> корпоративщиков, а не тестировать то что есть у всех?
>
> Сорри за возможно излишнюю резкость, но считаю что моя точа зрения
> имеет правл на жизнь. Также хотел бы еще предложить ряд тем и дорожек
> связанных со скоростными характеристиками
>
> -- оценка склорости индексации например 50гиг -- текстовую информацию
> готов преждоставить на DVD -- там много всекго разного -- и книги и
> тексты патентов и т.д. Естественно тестировать надо на одной и той же
> аппаратуре. Давайте если надо я лично договоррюсь с производителями
> жедлеза(ну например с нашим OEM партнером k-systems) чтобы для тестов
> предостваили например 10 абсолютног одинаковых компов.

а разве мы можем использовать такую коллекцию легально?

> -- После индексации гененрируем например 10,000 запросов фразовых и
> оценивает опять таки на одинаковых компах время каждой из систем.
>

Вообще мне кажется скоростные характеристики несколько вне фокуса РОМИП.
Скорость - характеристика вполне объективная и во многом зависит от усилий
по оптимизации алгоритмов. РОМИП же ориентирован на сравнение качества
решения задач, которое субъективно.

По моему личному мнению - это точно не повод для отдельной дорожки РОМИП.

Если есть желающие сравнить скоростные характеристики при выполнении
каких-либо заданий РОМИП, то это пожалуйста, и это, например, можно сделать
как было предложено. И конечно это вполне можно опубликовать в трудах РОМИП,
как дополнительную информацию об участии системы.

Но, на мой взгляд это не может быть обязательным требованием для участников
дорожки РОМИП. Такое сравнение вне сферы активности оргкомитета и должно
самостоятельно организовываться заинтересованными сторонами
("Участник самостоятельно и на своём оборудовании выполняет поисковые
задания." - http://romip.narod.ru/ru/rules.html)

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re[2]: [romip] Поисковые дорожки

Postby leomatveev1969 » Thu Apr 07, 2005 5:48 pm

Hello Igor,

Thursday, April 7, 2005, 2:45:06 PM, you wrote:


IN> Добрый день,

IN> Мне не совсем понятно, в чем "некорректность" предложенной постановки?
IN> В том, что есть более интересные вам задачи?
В том что искать пусть даже и по 300 словам пользователю
неинтересно. Гораздо проще взять весь джокумент и нажать искать
похожие. А 300 слов....... По какому принципу из документа например
даже в 10К текста выбирать 300 слов?


IN> У нас просто физически не хватит сил организовать все возможные
IN> дорожки, да и пользы больше когда можно сравнить свой результат
IN> с чужим.
Правильно. Но ряд производителей поисковых систем говорят что они
могут искать докумерты похожие по содержанию -- вот и было бы очень
любопытно сравнить. Все что мы сами сравнивали с тем что есть
однозначно очень сильно в нашу пользу, но это наша оценка, а мне
интересны оценки в рамках РОМИП про качество поиска документов похожих
по содержанию.

IN> [поэтому предложили использовать параграфы - только эта постановка
IN> вызвала какой-то интерес при обсуждении этой дорожки ранее]
Использование параграфов это мелкая подзадачка задачи поиска
документов похожих по содержанию.

IN> 2) Реализуемости
IN> Должны быть понятны ответы на следующие вопросы:
IN> - как формулируется задание (что система получает на вход,
Список файлов лежащих в конкретном каталоге и по порядку берет каждый
файл и выдает список документов похожих на него.

IN> - как будет выглядеть процедура оценки
IN> (что оценивают ассессоры и примерная трудоемкость оценки)
Берут исходный документ и первые 10 документов похожих на него которые
выдала система.

IN> Очень важнен пункт связанный с оценкой - она проводится в короткие сроки
IN> и поэтому большой объем хорошо не сделать.
Пусть объем документов в базе будет например 30 гиг и документов пару
миллиолнов, а вот для запросов на поиск похожих выделяем например 100
документов и ищем по всей ибазе похожие на них.


>> - проблема информационной размытости, когла из разных источников
>> вводятся практически одлинакрвые документы, но не бинароно одинаковые, а
>> нде например другой заголовок и т.д. или пропущены пару предложений, или
>> наоборот что-то чуть изменено. И в этом случае шинглы не отлавливают этой
>> ситуации.

IN> как вы представляете реализацию такой дорожки?
Можно взять кроме всего прочего 100 документов и создать для них дубли
но не полные и посмотреть как себя будет вести каждая из систем.



IN> а разве мы можем использовать такую коллекцию легально?
А в чем проблемы. Uspto.gov разрешает свободно скачтвать текксты
патентов. Далее если я скачиваю какие то сайты из инет и индексирую их
-- в чем нарушение?

И насчет коллекций вообще -- она же не распространяется а используется
только для тестирования. Не вижу нарушения каких либо прав........

>> -- После индексации гененрируем например 10,000 запросов фразовых и
>> оценивает опять таки на одинаковых компах время каждой из систем.
>>

IN> Вообще мне кажется скоростные характеристики несколько вне фокуса РОМИП.
IN> Скорость - характеристика вполне объективная и во многом зависит от усилий
IN> по оптимизации алгоритмов. РОМИП же ориентирован на сравнение качества
IN> решения задач, которое субъективно.

Ну скорость как раз легче всего оценивать и она критична при больших
объемах информации.

IN> Но, на мой взгляд это не может быть обязательным требованием для участников
IN> дорожки РОМИП. Такое сравнение вне сферы активности оргкомитета и должно
IN> самостоятельно организовываться заинтересованными сторонами
IN> ("Участник самостоятельно и на своём оборудовании выполняет поисковые
IN> задания." - http://romip.narod.ru/ru/rules.html)

Вот тут то и есть нестыковка. Задания должны выполняться на одинаковом
оборудовании, почему я и предложил привлечь к этому спонсора из числа
производителей компов, который смог бы обеспечить на неделю нужное
число абсолютно одинаковых клмпьютеров.

--
Best regards,
Leo Matveev
SoftInform mailto:swrus@...
leomatveev1969
 
Posts: 7
Joined: Tue Feb 08, 2005 8:10 am

Re[2]: [romip] Поисковые дорожки

Postby neigor » Fri Apr 08, 2005 8:44 am

> IN> Мне не совсем понятно, в чем "некорректность" предложенной постановки?
> IN> В том, что есть более интересные вам задачи?
> В том что искать пусть даже и по 300 словам пользователю
> неинтересно.

Как вы можете делать выводы за всех пользователей всех систем?
Возможно, пользователям вашей системы, важно уметь искать "похожие"
(что такое похожий?) документы. Но бывают разные ситуации.

Вот, например, пример от Максима Губина:

http://groups.yahoo.com/group/romip/message/385?simple=1

В случае законодательства, такая задача может быть практически интересна.
Есть, например, Кодексы, там, как правило, каждая статья потом разъясняется
подзаконными актами. Сейчас это отлавливается по ссылке из подзаконного
акта, а это будет "обратная" задача. Тут даже проверку можно сделать
полуавтоматической.

> IN> У нас просто физически не хватит сил организовать все возможные
> IN> дорожки, да и пользы больше когда можно сравнить свой результат
> IN> с чужим.
> Правильно. Но ряд производителей поисковых систем говорят что они
> могут искать докумерты похожие по содержанию -- вот и было бы очень
> любопытно сравнить. Все что мы сами сравнивали с тем что есть
> однозначно очень сильно в нашу пользу, но это наша оценка, а мне
> интересны оценки в рамках РОМИП про качество поиска документов похожих
> по содержанию.

Так уж устроен человек, что каждый склонен считать свое произведение
гениальным :) Но давайте не будет голословно это утверждать.

Еще раз повторю - участие в РОМИП добровольное. Каждый участник сам решает
на что тратить свои силы (и конечно склонен выбирать те задачи что ЕМУ
интересны).

Я лично (и другие члены оргкомитета скорее всего тоже) принципиально ничего
не имею против дорожки по поиску "похожих" документов.

Если вы хотите устроить сравнение с другими системами, то вам надо
заинтересовать их интересной вам дорожкой. И мне кажется
что правильнее именно пытаться искать компромисные постановки задачи
(те, которые интересны участникам из возможно других областей),
а не бить себя пяткой в грудь

> IN> [поэтому предложили использовать параграфы - только эта постановка
> IN> вызвала какой-то интерес при обсуждении этой дорожки ранее]
> Использование параграфов это мелкая подзадачка задачи поиска
> документов похожих по содержанию.

да конечно, это лишь один из вариантов.

В его пользу было два факта:
- его обсуждали не только вы (значит есть потенциально заинтересованные)
- понятно как его делать

> IN> 2) Реализуемости
> IN> Должны быть понятны ответы на следующие вопросы:
> IN> - как формулируется задание (что система получает на вход,
> Список файлов лежащих в конкретном каталоге и по порядку берет каждый
> файл и выдает список документов похожих на него.
>
> IN> - как будет выглядеть процедура оценки
> IN> (что оценивают ассессоры и примерная трудоемкость оценки)
> Берут исходный документ и первые 10 документов похожих на него которые
> выдала система.

Это не совсем то что надо.

Что такое "похожий"? выглюдит похоже? текстуально схож? тематически похож?
В разных контекстах это понимается по разному.
И конечно это упирается в информационные потребности пользователя.

Например, в примере Максима пользователь хочет найти что-то
"разъясняющее" текущий документ. И это ведь тоже "похожее" ...

Представьте, что вам надо сформулировать задание человеку,
который будет проверять результаты. Попробуйте дать определение:
"Пара документов считается похожей, если ...."

То, что пытался предложить я в предыдущем письме записывается так:

Мотивация:
у пользователя есть какая-то потребность, он формулирует запрос,
выполняет его и использует первый релевантный документ чтобы уточнить
запрос (нажав кнопку найти похожие)

Задача системы:
- по исходному запросу и 1 релевантному документу
найти документы отвечающие на _исходный_ запрос

Оценка асессором:
- Оценивается являются ли найденные документы ответами
для исходной информационной потребности, то есть запроса
+ его расширенного описания

> IN> Очень важнен пункт связанный с оценкой - она проводится в короткие сроки
> IN> и поэтому большой объем хорошо не сделать.
> Пусть объем документов в базе будет например 30 гиг и документов пару
> миллиолнов, а вот для запросов на поиск похожих выделяем например 100
> документов и ищем по всей ибазе похожие на них.

Технически понятно, что можно использовать метод общего котла.

Я пытался сделать ударение на другое "что проверяем асессор?" (см. выше)

> >> - проблема информационной размытости, когла из разных источников
> >> вводятся практически одлинакрвые документы, но не бинароно одинаковые, а
> >> нде например другой заголовок и т.д. или пропущены пару предложений, или
> >> наоборот что-то чуть изменено. И в этом случае шинглы не отлавливают этой
> >> ситуации.
>
> IN> как вы представляете реализацию такой дорожки?
> Можно взять кроме всего прочего 100 документов и создать для них дубли
> но не полные и посмотреть как себя будет вести каждая из систем.

то есть исскуственные дубли.
Проблема в том, что непонятно что вы оцениваете.
Получается вы оцениваете насколько алгоритм умеет решать задачу обнаружение
внесенных ТАКИМ образом возмущений в текст. А почему вы думаете,
что ТАКИЕ возмущения это как раз те, что встречаются в реальных наборах
данных.

Есть вероятность решать нежизненную задачу - так часто бывало при
оценке методов кластеризации - на искуственных наборах они отлично работают,
а на реальных данных далеко не всегда хорошо.

> IN> а разве мы можем использовать такую коллекцию легально?
> А в чем проблемы. Uspto.gov разрешает свободно скачтвать текксты
> патентов. Далее если я скачиваю какие то сайты из инет и индексирую их
> -- в чем нарушение?

.gov - это отдельная история.

> И насчет коллекций вообще -- она же не распространяется а используется
> только для тестирования. Не вижу нарушения каких либо прав........

насколько я понимаю, в соответствии с российским законодательством
на материалы опубликованные в Интернет распространяется закон об авторских
правах. Поэтому формально использование коллекции в таких целях требует
согласия автора ...

Поэтому в качестве Веб коллекции мы используем подмножество narod.ru
- пользовательское соглашение Яндекс гарантирует что мы это можем.

Ну а вообще это больше вопрос к юристам.

В принципе относительно большую коллекцию создать можно взяв
полную версию narod.ru, если Яндекс согласится разрешить это РОМИП.
Но какие будут у нее свойства - это открытый вопрос
(в текущей коллекции например связность слабая)

> >> -- После индексации гененрируем например 10,000 запросов фразовых и
> >> оценивает опять таки на одинаковых компах время каждой из систем.
> >>
>
> IN> Вообще мне кажется скоростные характеристики несколько вне фокуса РОМИП.
> IN> Скорость - характеристика вполне объективная и во многом зависит от усилий
> IN> по оптимизации алгоритмов. РОМИП же ориентирован на сравнение качества
> IN> решения задач, которое субъективно.
>
> Ну скорость как раз легче всего оценивать и она критична при больших
> объемах информации.

Но ее можно контролировать и самостоятельно.
И насколько я могу судить она либо устраивает, либо нет.
И в последнем случае инвестируются силы чтобы это исправить.

Не так важно насколько она близка к максимально достижимому результату.

> IN> Но, на мой взгляд это не может быть обязательным требованием для
участников
> IN> дорожки РОМИП. Такое сравнение вне сферы активности оргкомитета и должно
> IN> самостоятельно организовываться заинтересованными сторонами
> IN> ("Участник самостоятельно и на своём оборудовании выполняет поисковые
> IN> задания." - http://romip.narod.ru/ru/rules.html)
>
> Вот тут то и есть нестыковка. Задания должны выполняться на одинаковом
> оборудовании, почему я и предложил привлечь к этому спонсора из числа
> производителей компов, который смог бы обеспечить на неделю нужное
> число абсолютно одинаковых клмпьютеров.

Это утверждение было введено в правила по аналогии с TREC исходя из
следующих соображений:
- некоторые участники считают свои системы своей коммерческой тайной
и не готовы выдавать их кому-то еще.
- установка и настройка систем в специальном месте требует усилий
(зачастую делается не один прогон с разными вариантами алгоритма)

Вообщем, если есть желающие воспользоваться вашим предложением, то
это замечательно и никаких ограничений тут быть не может.
Но
- это не может быть и обязательным требованием к участникам
какой-либо дорожки.
- оргкомитет не готов тратить время на организацию такого сравнения

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Поиск по документу-образцу

Postby neigor » Sun Apr 17, 2005 3:34 pm

По результатам обсуждения офлайн мы с Львом договорились о таком копромисе
по поводу этой дорожки:

---------------------------------------------------
Предполагаемый сценарий использования пользователем:
Ввел запрос, среди результатов увидел что-то похожее на правду и
нажал кнопку "найти похожие"

Постановка задачи РОМИП.

Коллекция: narod.ru

Задания:
- вида запрос+один релевантный документ
[задания строятся на основе того что оценивалось в РОМИП'2003 и 2004,
релевантный документ - один строго релевантный
(то есть все асессоры признали его таким)]

Ответ системы:
- как и для дорожки Веб-поиска, упорядоченный список до 100 документов

Как будет проходить оценка:
Часть старых запросов будет повторно оцениваться (с использованием тех же
расширенных описаний, что и в прошлые годы).
Документы из прогонов по этому заданию будут добавлены в пулы
соответствующих запросов для дорожки Веб-поиска и оцениваться на общих
основаниях.

ВНИМАНИЕ: оценивается соответствие документов исходному (фразовуму)
запросу, а точнее расширенному описанию информационной потребности.
Документ образец асессор не увидит!
---------------------------------------------------------------------

Этот подход позволит получить косвенную оценку метода поиска похожих с
точки зрения его полезн~ости для обработки поисковых запросов пользователя в
таком сценарии.
Сюда же вписываются методы relevance feedback, если кому-нибудь это
интересно.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 1 guest

cron