Сроки

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Сроки

Postby sergei_tatevosian » Mon May 28, 2007 9:21 am

Вопрос к Оргкомитету: каковы сроки предоставления результатов? В
частности, по веб-коллекции. Как я понимаю, образовалось 2 коллекции:
1) Narod.ru
2) KM.RU + Белорусский интернет

Значит ли это, что будет 2 отдельные дорожки по упомянутым пунктам?
sergei_tatevosian
Оргкомитет
 
Posts: 38
Joined: Mon May 28, 2007 9:21 am

Re: [romip] поиск по Веб

Postby neigor » Mon May 28, 2007 9:50 am

> Вопрос к Оргкомитету: каковы сроки предоставления реультатов? В частности,
> по веб-коллекции. Как я понимаю, обраовалось 2 коллекции:
> 1) Narod.ru
> 2) KM.RU + Белорусский интернет
>
> Значит ли это, что будет 2 отдельные дорожки по упомянутым пунктам?

Я надеюсь, что к концу этой недели мы уже таки начнем распространение
коллекций.
Соответственно срок предоставления реультатов наверное будет в конце июня.

Мы не планировали испольовать narod.Ru в дорожке поиска по Веб в этом году.
Однако, есть желание испольовать обе коллекции - km.ru + выборку и
белорусского сегмента Рунет.
Идея в том, чтобы набор оценивавшихся апросов был единым.
Мы предполагаем также, что выполняться апросу будут для каждой коллекции
отдельно или только на одной коллекции (это решать участнику). Таким обраом
участник может сдать два комплекта ответов как один прогон.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] поиск по Веб

Postby igor_kuralenok » Tue May 29, 2007 6:46 am

Igor Nekrestyanov пишет:
>> Вопрос к Оргкомитету: каковы сроки предоставления реультатов? В частности,
>> по веб-коллекции. Как я понимаю, обраовалось 2 коллекции:
>> 1) Narod.ru
>> 2) KM.RU + Белорусский интернет
>>
>> Значит ли это, что будет 2 отдельные дорожки по упомянутым пунктам?
>>
>
> Я надеюсь, что к концу этой недели мы уже таки начнем распространение
> коллекций.
> Соответственно срок предоставления реультатов наверное будет в конце июня.
>
> Мы не планировали испольовать narod.Ru в дорожке поиска по Веб в этом году.
> Однако, есть желание испольовать обе коллекции - km.ru + выборку и
> белорусского сегмента Рунет.
> Идея в том, чтобы набор оценивавшихся апросов был единым.
> Мы предполагаем также, что выполняться апросу будут для каждой коллекции
> отдельно или только на одной коллекции (это решать участнику). Таким обраом
> участник может сдать два комплекта ответов как один прогон.
>
А может все же сделаем новый набор запросов. Например случайные за
полную неделю?

IK
igor_kuralenok
Оргкомитет
 
Posts: 21
Joined: Fri Oct 03, 2003 7:24 am

Re: поиск по Веб

Postby sergei_tatevosian » Tue May 29, 2007 7:10 am

> А может все же сделаем новый набор запросов. Например случайные за
> полную неделю?
>
> IK
Думаю, что запросы для прогонов по Narod.ru могут быть неактуальны для
коллекции КМ. У нас может не быть такой информации или быть ее мало.
Поэтому, новые запросы (из нашего списка 10 тыс. и добавка в 50
маркеров), мне кажется, более актуальны. Тем более, что с
использованием ссылочного ранжирования интересно посмотреть не только
многословные запросы типа "группа Черный Кофе", но и однословные, где
ссылочное хорошо себя показывает, например "почта", "автомобили" и
т.п. Однословные дадут хорошее число результатов в обеих коллекциях -
КМ и БелИнете.
sergei_tatevosian
Оргкомитет
 
Posts: 38
Joined: Mon May 28, 2007 9:21 am

Re: поиск по Веб

Postby ageev2003 » Tue May 29, 2007 10:30 am

Добрый день!

На мой взгляд, для выполнения дорожек поиска есть смысл смешать в одну
кучу три группы запросов:
- от КМ (например, упоминавшиеся 10 тысяч)
- от Яндекса (примерно столько же)
- уже оцененные из прошлых циклов РОМИП (чтобы добру не пропадать :-)

Этого количества будет достаточно для исключения ручной подкрутки, и
хватит на выбор пулов на несколько лет вперед.

Хорошо бы отфильтровать ненорматив и использование специальных языков
запросов.

По какому принципу отбирать запросы в пул - можно обсудить потом.

Михаил.

>> А может все же сделаем новый набор запросов. Например случайные за
>> полную неделю?
>>
>> IK
s> Думаю, что запросы для прогонов по Narod.ru могут быть неактуальны для
s> коллекции КМ. У нас может не быть такой информации или быть ее мало.
s> Поэтому, новые запросы (из нашего списка 10 тыс. и добавка в 50
s> маркеров), мне кажется, более актуальны. Тем более, что с
s> использованием ссылочного ранжирования интересно посмотреть не только
s> многословные запросы типа "группа Черный Кофе", но и однословные, где
s> ссылочное хорошо себя показывает, например "почта", "автомобили" и
s> т.п. Однословные дадут хорошее число результатов в обеих коллекциях -
s> КМ и БелИнете.




s> Yahoo! Groups Links
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re: поиск по Веб

Postby igor_kuralenok » Tue May 29, 2007 11:11 am

Привет!
Mikhail Ageev пишет:
> Добрый день!
>
> На мой взгляд, для выполнения дорожек поиска есть смысл смешать в одну
> кучу три группы запросов:
> - от КМ (например, упоминавшиеся 10 тысяч)
> - от Яндекса (примерно столько же)
> - уже оцененные из прошлых циклов РОМИП (чтобы добру не пропадать :-)
>
> Этого количества будет достаточно для исключения ручной подкрутки, и
> хватит на выбор пулов на несколько лет вперед.
>
Ну... Или так. Если никого не затянут ~30000 запросов. Мне не нравится
идея переиспользования запросов. Запросы устаревают в след за
коллекцией. Кроме того, многие вещи станивится невозможно оценить, так
как асессоры про них через пару лет уже помнить не будут. Например,
недавно разводился (или до сих пор разводится) Абрамович и имя его жены
было на слуху, сейчас его уже мало кто помнит, а через пару лет вспомнят
единицы. Соответственно если асессор примется оценивать документ об этом
разводе он может просто не понять, что речь идет об Абрамовиче и
присудить неверную оценку.
> Хорошо бы отфильтровать ненорматив и использование специальных языков
> запросов.
>
Ненорматив можно отобрать на этапе проверки. А с языком... По-моему надо
обрезать только специфические опирации (типа По какому принципу отбирать запросы в пул - можно обсудить потом.
>
Надо начинать сейчас, а то "потом" можем не успеть :).

IK
igor_kuralenok
Оргкомитет
 
Posts: 21
Joined: Fri Oct 03, 2003 7:24 am

Re: [romip] поиск по Веб

Postby neigor » Tue May 29, 2007 11:14 am

> А может все же сделаем новый набор запросов. Например случайные за
> полную неделю?

Я наверное неточно выразился.

Набор запросов конечно новый.
У нас уже есть выборка от KM.RU,
я надеюсь получить выборку от Яндекса в ближайшие дни (мы обсуждали с
Мишей).

План в том чтобы их слить в единую кучу и попросить участников выполнять и
те и другие на каждой из Веб коллекций с которыми они решат работать.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: поиск по Веб

Postby neigor » Tue May 29, 2007 11:16 am

> - уже оцененные из прошлых циклов РОМИП (чтобы добру не пропадать :-)

хорошая идея, надо не забыть :)

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: поиск по Веб

Postby ageev2003 » Tue May 29, 2007 11:25 am

>> Этого количества будет достаточно для исключения ручной подкрутки, и
>> хватит на выбор пулов на несколько лет вперед.
>>
IK> Ну... Или так. Если никого не затянут ~30000 запросов. Мне не нравится
IK> идея переиспользования запросов. Запросы устаревают в след за
IK> коллекцией.

Я согласен, но
- предыдущие коллекции прожили 3-4 года, и, в общем-то, это удобно
- если в следующем году коллекции будем менять коллекции, то можно
будет поменять и запросы.

IK> Кроме того, многие вещи станивится невозможно оценить, так
IK> как асессоры про них через пару лет уже помнить не будут. Например,
IK> недавно разводился (или до сих пор разводится) Абрамович и имя его жены
IK> было на слуху, сейчас его уже мало кто помнит, а через пару лет вспомнят
IK> единицы. Соответственно если асессор примется оценивать документ об этом
IK> разводе он может просто не понять, что речь идет об Абрамовиче и
IK> присудить неверную оценку.

>> Хорошо бы отфильтровать ненорматив и использование специальных языков
>> запросов.
>>
IK> Ненорматив можно отобрать на этапе проверки. А с языком... По-моему надо
IK> обрезать только специфические опирации (типа оставить, так как они дают представление о том какая доля таких запросов
IK> в потоке и кто, например, лучше ищет по цитатам :).

Что значит остальные?
Подсовывать всем участникам РОМИП запросы типа
"битва (понедельник | вторник)" будет нечестно.

>> По какому принципу отбирать запросы в пул - можно обсудить потом.
>>
IK> Надо начинать сейчас, а то "потом" можем не успеть :).

Я лишь предлагаю разделить задачу на две:
- формирование общего списка запросов (и распространение ДО запуска
дорожек)
- формирование принципа отбора запросов в пул (для оценки, есть ещё месяц
времени)

Михаил.

IK> IK



IK> Yahoo! Groups Links






С уважением,
Михаил Агеев.
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re: [romip] поиск по Веб

Postby igor_kuralenok » Tue May 29, 2007 11:37 am

Привет!
Igor Nekrestyanov пишет:
> Я наверное неточно выразился.
>
> Набор запросов конечно новый.
> У нас уже есть выборка от KM.RU,
> я надеюсь получить выборку от Яндекса в ближайшие дни (мы обсуждали с
> Мишей).
>
Ок. Просто тут я был не в курсе.
> План в том чтобы их слить в единую кучу и попросить участников выполнять и
> те и другие на каждой из Веб коллекций с которыми они решат работать.
>
И какие потом оценивать? По 20 из кучки? Тогда стабильности оценки
добиться ни по одному набору будет нереально. Предлагаю серьезно
подумать над тем, что оценивать. Качество нашего корпуса, на мой взгляд,
очень сильно зависит от этого фактора. Кстати, как вам идея уменьшить
глубину оценки (например до 14-15) и увеличить количество оцененных
запросов? Было бы здорово оценить не 60 - 80 запросов а 200-300.

IK
igor_kuralenok
Оргкомитет
 
Posts: 21
Joined: Fri Oct 03, 2003 7:24 am

Next

Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 12 guests

cron