Дорожки для семинара РОМИП

(read only)

Дорожки для семинара РОМИП

Postby neigor » Sat Feb 08, 2003 4:55 pm

Добрый день,

Напоминаем, что множество дорожек и условия проведения являются обсуждаемыми
и находятся в процессе формирования.

На данный момент множество обсуждавшихся возможных дорожек
включает следующие задачи:
- классическая задача поиска по запросу
- поиск домашних страниц
- тематическая классификация
- фактографический поиск

Множество возможных дорожек открыто и каждый заинтересованный участник может
предлагать свои варианты на общее обсуждение.

Из множества возможных дорожек далее выбираются дорожки формирующие
программу семинара. Для этого дорожка должна быть реализуемой
(доступны ресурсы - наборы данных, ресурсы на оценку, и т.д.)
и интересной как можно большему числу участников.

Более подробно информация о выборе дорожек для РОМИП
описана на http://romip.narod.ru/track-guidelines.html.
На сайте также публикуются рабочие описания проектов дорожек.

Если у вас есть вопросы/уточнения по характеристикам дорожек или
идеи/предложения по организации альтернативных вариантов или новых дорожек
- давайте их обсудим.

Чтобы в дискусии участвовал по возможности широкий круг
заинтересованных лиц, предлагается использовать список рассылки
romip@yahoogroups.com.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: IRE-RU: Дорожки для семинара РОМИП

Postby pb » Mon Feb 10, 2003 11:52 am

Всем привет!

Мне кажется, нас опять уводит в сторону...

Я соврешенно согласен с тем, что одна дорожка, притом такая
специфическая, как web - мало. Об этом я говорил сразу после RCDL2002.
Но в ответ все дружно возразили, что надо сделать *хоть что-ниубдь*.
И теперь, в ситуации временнОго лимита, я скорее согласен, что надо
хорошо поработать над _одной_ дорожкой - там достаточно открытых
вопросов.

М.б., снова проголосовать? ;)
Мы и так сильно выбиваемся из графика.

ПБ

PS "Диалог" в июне можно внести как "этапное мероприятие".
Кстати, кто собирается участвовать - отправьте туда заявки.

IN> Добрый день,

IN> Напоминаем, что множество дорожек и условия проведения являются обсуждаемыми
IN> и находятся в процессе формирования.

IN> На данный момент множество обсуждавшихся возможных дорожек
IN> включает следующие задачи:
IN> - классическая задача поиска по запросу
IN> - поиск домашних страниц
IN> - тематическая классификация
IN> - фактографический поиск

IN> Множество возможных дорожек открыто и каждый заинтересованный участник может
IN> предлагать свои варианты на общее обсуждение.

IN> Из множества возможных дорожек далее выбираются дорожки формирующие
IN> программу семинара. Для этого дорожка должна быть реализуемой
IN> (доступны ресурсы - наборы данных, ресурсы на оценку, и т.д.)
IN> и интересной как можно большему числу участников.

IN> Более подробно информация о выборе дорожек для РОМИП
IN> описана на http://romip.narod.ru/track-guidelines.html.
IN> На сайте также публикуются рабочие описания проектов дорожек.

IN> Если у вас есть вопросы/уточнения по характеристикам дорожек или
IN> идеи/предложения по организации альтернативных вариантов или новых дорожек
IN> - давайте их обсудим.

IN> Чтобы в дискусии участвовал по возможности широкий круг
IN> заинтересованных лиц, предлагается использовать список рассылки
IN> romip@yahoogroups.com.

IN> -igor

IN> ----
IN> Практический семинар по ТЕстированию Систем Текстового поиска.

IN> Если Вы хотите отписаться от списка рассылки, пошлите письмо на
IN> Majordomo@... и в теле письма напишите следующее:
IN> unsubscribe ire-ru
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am

Re: Дорожки для семинара РОМИП

Postby neigor » Mon Feb 10, 2003 9:06 pm

> Я соврешенно согласен с тем, что одна дорожка, притом такая
> специфическая, как web - мало. Об этом я говорил сразу после RCDL2002.
> Но в ответ все дружно возразили, что надо сделать *хоть что-ниубдь*.

это верно, поскольку наиболее узкое место - оценка,
ее просто непонятно как делать быстро и качествено.
но если будут здравые идеи как сделать еще что-то малой кровью,
то почему бы нет (если сейчас не получится - это будет задел на будущее).

Предложенные Ильей варианты организации дорожки по классификации
можно попробовать довести до ума.
Возможно кто-то предложит еще что-то интересное -
например, дорожку по фактографическому поиску
(кстати, мы в прошлом году обсуждали возможность переиспользования
заданий и ответов из кубка Яндекс - реализация такой схемы потребует
относительно мало затрат на оценку)

> И теперь, в ситуации временнОго лимита, я скорее согласен, что надо
> хорошо поработать над _одной_ дорожкой - там достаточно открытых
> вопросов.

Павел, задавайте вопросы - и попробуем на них вместе со всеми
сформулировать ответы. Какой информации вам не хватает на сайте?

Конечно же у нас самих по себе смещенные приоритеты нам нужна обратная
связь :)

> М.б., снова проголосовать? ;)

Дорожки для реализации конечно будем отбирать открытым голосованием,
благо YahooGroups вроде бы позволяет делать это online.

> Мы и так сильно выбиваемся из графика.

время конечно летит, что по вашему сейчас является наиболее критичным?

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: Дорожки для семинара РОМИП

Postby pb » Tue Feb 11, 2003 11:00 am

IN> Павел, задавайте вопросы - и попробуем на них вместе со всеми
IN> сформулировать ответы.
Первый вопрос: Мы теперь на "Вы"? ;)

IN> Какой информации вам не хватает на сайте?
Описание корпуса (методика формирования, кол-во док-тов, объем).
Формат корпуса (физ. носитель, организация на носителе).
Формат документа. Примеры документов.
Формат задания. Примеры заданий.
Формат возвращаемой выдачи.

>> М.б., снова проголосовать? ;)

IN> Дорожки для реализации конечно будем отбирать открытым голосованием,
IN> благо YahooGroups вроде бы позволяет делать это online.
Вопрос, все-таки не в технических возможностях YahooGroups.
Посмотрите предновогоднюю переписку - мы выходим на второй круг.
Так что пока узким местом является вовсе не оценка...

IN> время конечно летит, что по вашему сейчас является наиболее критичным?
По-нашему - четкие правила игры, которые позволили бы потенциальным
игрокам как можно раньше начать подготовку к участию.

Кстати, на подготовительном этапе можно провести экперимент по оценке,
чтобы понять, какова реальная производительность экспертов-студентов.
Еще же софт надо писать...

Искренне Ваш ;)
ПБ
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am

Re: Дорожки для семинара РОМИП

Postby neigor » Tue Feb 11, 2003 12:21 pm

Добрый день,

On Tue, 11 Feb 2003, Pavel Braslavsky wrote:

> IN> Павел, задавайте вопросы - и попробуем на них вместе со всеми
> IN> сформулировать ответы.
> Первый вопрос: Мы теперь на "Вы"? ;)

это просто стиль речи ... :)

> IN> Какой информации вам не хватает на сайте?
> Описание корпуса (методика формирования, кол-во док-тов, объем).

для web-track

http://romip.narod.ru/adhoc-narod.html

там есть незафиксированные вопросы, но их надо решать общим голосованием.

конкретные цифры будут зависеть от того, что реально выдаст Яндекс
(предварительно договаривались, что это срез narod.ru по принципу
совместного расположения сайтов на дисках -> псевдослучайная выборка)

> Формат корпуса (физ. носитель, организация на носителе).

разве то как будет распространятся архив - это реально важно?
Видимо стандартный вариант - на 1-2-3 CD, но возможно кому-то удобнее
будет его просто скачать ...

набор состоит из множества файлов, каждый из которых описывает 1 документ

> Формат документа. Примеры документов.
> Формат задания. Примеры заданий.
> Формат возвращаемой выдачи.

это скоро должно быть опубликовано, хотя вообще говоря это тоже технические
детали
(и они зависят от принятых соглашений по обработке данных и выбору заданий)
все будет в xml с простой структурой и это не должно повлечь каких-либо
серьезных трудностей у участников.

> IN> время конечно летит, что по вашему сейчас является наиболее критичным?
> По-нашему - четкие правила игры, которые позволили бы потенциальным
> игрокам как можно раньше начать подготовку к участию.

то есть описание форматов данных??
или что-то еще?

> Кстати, на подготовительном этапе можно провести экперимент по оценке,
> чтобы понять, какова реальная производительность экспертов-студентов.

это зависит от сложности задаваемого им вопроса, а не только от инструмента
(и кучи внешних параметров ...) - небольшой эксперимент очевидно
будет иметь огромную погрешность. Лучше уж опираться на цифры,
которые упоминаются в отчетах о подобных мероприятиях.

> Еще же софт надо писать...

софт для оценки - это уж, IMHO, точно не та проблема,
которая сейчас наиболее актуальна (он нужен только к этапу оценки результатов)

На мой взгляд сейчас наиболее важными вопросами является все-таки фиксация
множества дорожек и графика.

Если есть я где-то неправ или есть другие важные вопросы - дайте,
пожалуйста, знать.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: Дорожки для семинара РОМИП

Postby pb » Wed Feb 12, 2003 8:35 am

IN> там есть незафиксированные вопросы, но их надо решать общим голосованием.
Когда?

IN> конкретные цифры будут зависеть от того, что реально выдаст Яндекс
Когда?
...

>> Формат корпуса (физ. носитель, организация на носителе).
IN> разве то как будет распространятся архив - это реально важно?
IN> Видимо стандартный вариант - на 1-2-3 CD, но возможно кому-то удобнее
IN> будет его просто скачать ...
Важно все.
Правда, лучше спросить участников. Макс, например, говорил, что ему
нужно время подготовиться. Чем раньше будут зафиксированы
формальности, тем лучше.

...

>> IN> время конечно летит, что по вашему сейчас является наиболее критичным?
>> По-нашему - четкие правила игры, которые позволили бы потенциальным
>> игрокам как можно раньше начать подготовку к участию.
IN> то есть описание форматов данных??
IN> или что-то еще?
Сначала - данных, потом - оценки.

>> Кстати, на подготовительном этапе можно провести экперимент по оценке,
>> чтобы понять, какова реальная производительность экспертов-студентов.
IN> это зависит от сложности задаваемого им вопроса, а не только от инструмента
IN> (и кучи внешних параметров ...) - небольшой эксперимент очевидно
IN> будет иметь огромную погрешность. Лучше уж опираться на цифры,
IN> которые упоминаются в отчетах о подобных мероприятиях.
Это не только математика. Вы поймете, как это нужно *организовывать*.
Всплывут какие-то мелочи, о которых в отчетах не пишут. И еще -
производительность студента, отрабатывающего запрос навреное
отличается от производительности эксперта за деньги... (в какую
сторону - не знаю ;)

...

IN> Если есть я где-то неправ или есть другие важные вопросы - дайте,
IN> пожалуйста, знать.
Мы стараемся... ;)

ПБ
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am


Return to Объявления Оргкомитета

Who is online

Users browsing this forum: No registered users and 1 guest

cron