Re: Вопрос про РОМИП

(read only)

Postby neigor » Mon Sep 27, 2004 1:35 pm

Добрый день Дмитрий,

спасибо за ваш интерес к семинару.

> Уже второй год наблюдаю за работами семинара РОМИП, и в связи с этим
> возник вопрос: собираются ли организаторы семинара в дальнейшем
> ориентироваться на более специфические задачи, связанные с теорией
> информационного поиска, например, на задачи уточнения (расширения)
> запросов?

Программа семинара определяется самими участниками.
Кроме интереса к конкретной задаче необходимо также чтобы она была
реализуема - доступен тестовый корпус, понятна методология оценки и т.п.

Я полагаю, что оценка эффективности решения таких систем вполне
возможна в рамках более широкой задачи. Например при
оценке интерактивных систем или еще как-то.
Интерес к подобным дорожкам есть и у уже участвующих групп
- надо прорабатывать детали.

> Вопрос возник потому, что системы, разрабатываемые для решения подобных
> задач, на мой взгляд, не могут рассматриваться в качестве полноценных
> участников РОМИП по следующим причинам.
>
> Во-первых, они фактически не являются самостоятельными поисковыми
> системами, основная цель которых состоит в решении традиционной задачи
> информационного поиска.

Это кстати затрагивает еще одну тему - проблему порога
"технической вооруженности" для участия в семинаре.
Мы планируем как-то понизить этот порог для некоторых
дорожек - уменьшив масштаб заданий, предоставив доступ к промежуточным
результатам (например, морфоанализа). Что и как конкретно делать
- вопрос открытый.

> Во-вторых, для оценки их работы должны применяться специфические критерии,
> анализирующие не только полноту и точность поиска по исходному запросу, но
> и характер их изменения в ходе поиска по уточненным запросам. В частности,
> в ходе экспериментальной оценки должна учитываться и итерационность
> процесса.

ну это кажется надуманная проблема,
можно оценивать результат каждой итерации отдельно и смотреть на динамику

Кстати, один из возможных способов реализации такой дорожки -
предложить расширения запросов для уже оцененных запросов 2003/2004
годов и дооценить результаты. Тут конечно всего одна итерация получается,
но с этого можно начать.

> В-третьих (это скорее касается именно задачи уточнения запросов), нельзя в
> ходе проведения оценок смешивать результаты поиска по исходному запросу
> (вводимому человеком) и "уточненному" запросу, так как последний является
> не только отражением информационной потребности пользователя ИПС, но и
> отражением полученных знаний о характеристиках некоторых документов из
> коллекции. Например, при поиске с обратной связью по релевантности, задача
> уточнения запроса ближе к задаче поиска по образцу, нежели к классической
> (традиционной) задаче информационного поиска по запросу.

Это вопрос спорный. Мне кажется такой подход не позволяет создать
переиспользуемый тестовый корпус.

Как насчет того, чтобы стартовать с заранее фиксированного задания
пользователю - "найти такую-то информацию". Это дает нам четко определенную
информационную потребность, которую можно использовать для оценки.
получается почти "кубок Яндекс" :)

> И, в-четвертых, несмотря на то, что большинство пользователей ИПС не
> склонно осуществлять поиск в несколько итераций, фактически они делают это
> в неявной форме, анализируя найденные документы и изменяя терминологию
> своих запросов. Таким образом, необходимо расширять инструментарий,
> предоставляющий пользователям ИПС автоматизировать процесс уточнения
> запросов, делая его удобным и "прозрачным". И тогда люди "к нему
> потянутся". :)

Очная часть РОМИП'2004 состоится в Пущино 1 октября и там же будет
обсуждаться планы на РОМИП'2005 - приезжайте и поучаствуйте в их обсуждении.
Мы открыты для новых участников :)

-igor

> С уважением,
> Дмитрий Беляев
> ЗАО "Овионт Информ"
>
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Return to Объявления Оргкомитета

Who is online

Users browsing this forum: No registered users and 5 guests

cron