Добрый день,
В потоке запросов(российском) навигационных обычно процентов 20. Я бы
не стал искусственно повышать их долю.
Вот как я бы формировал запросы и оценки к коллекции белорусских
документов:
а) взял бы запросы с белорусских IP
б) сделал бы выборку "каждый n-ый по времени"
в) при оценке сказал бы асессорам: представьте, что вы белорусы
и оценивайте
(это значит, напр. что по запросу 'МТС' лучший док-т
www.mts.by а не
.ru)
С уважением
Михаил
PS
выборку запросов от белорусов Яндекс, по идее, может довольно легко
сделать
Igor Nekrestyanov пишет:
Добрый день,
расширить список запросов не проблема, если есть общее понимание
того как расширять и согласие участников дорожки.
На мой взгляд имеет смысл говорить не только о коллекции KM,
а о единой веб коллекции. В by.web можно найти больше разнообразия для
навигационных запросов.
Большая просьба к участникам поисковой дорожки по Веб и всем
сочуствующим
высказаться ASAP. В частностинам важно понять:
- интересно ли вам расширение заданий навигационными запросами
- есть ли идеи/предложения/критика о том как отбирать такие задания для
включения
Ну и конечно это не значит, что все участники обязаны будут внедрить
ссылочное
ранжирование. Это не соревнование ...
-igor
>Здравствуйте!
>Предлагается включить в список запросов такие, с помощью которых
>можно оценивать правильность отработки ссылочного ранжирования, о
>чем говорилось на очной встрече РОМИП-2007. Думаю, приближение к
>реальному интернету, а не простой поиск по документам, будет
>интереснее.
>
>Что для этого требуется (на примере коллекции KM.RU):
>1. Сформировать список соответствующий список запросов. (делает КМ)
>Можно взять список исполнителей и композиций с домена music.km.ru.
>Пример: исполнители в каталоге на букву "А" -
>
http://music.km.ru/asearch.asp?l=%C0&mp3_atp=1,Леонид Агутин.
>Соответственно, тестовым запросом будет "Леонид Агутин", нужной
>страницей - сводная информация о нем
>
http://music.km.ru/performer.asp?id=551b5db451a74bc59a3c12e3f7ec873f>Это будет витальный ответ.
>Поскольку в коллекции есть энциклопедия mega.km.ru со статьями об
>исполнителях, то витальным также будет любой документ с этого
>домена, т.к. это энциклопедическая статья. Например,
>этот
http://mega.km.ru/rock_2002/Encyclop.asp?Topic=topic_rock_8>
>Т.о. смотрим какой документ из этих в выдаче стоит первым, его и
>берем. (Обычно "витальный" это единственный ответ, в данном случае
>из-за особенностей коллекции это один из списка документов - сводный
>на music.km.ru и любая статья с mega.km.ru)
>
>Для разнообразия дополним список запросов так, что витальными будут
>документы с других доменов.
>а) Погода в разных городах;
>б) список игр;
>в) Названия самих доменов ("Музыка" на music.km.ru);
>г) Названия разделов ("новости политики", "курс цб")
>и т.п.
>
>2. Выбрать меру оценки. (обсуждается и принимается участниками)
>Например, берем 100 произвольных исполнителей или композиций,
>оценщики смотрят в какой позиции находится нужный документ. 1-е
>место - 100% попадание, 2-е место - 90% и т.д. Не попал в 10-ку -
>0%. оценивать в процентах. Это самая простая мера, можно придумать
>другую. Фактически, это т.н. маркеры.
>
>3. Сформировать список запросов, по которым будет произведена
>оценка.
>Мы смотрим на какие документы точно есть нужные ссылки и
>предоставляем их расширенный список. (делает КМ)
>4. Из списка в п.3 оргкомитет произвольным образом выбирает нужное
>количество. По ним и производится оценка. (делает оргкомитет)
>
>Сейчас, перед рассылкой заданий, требуется только составить список
>дополнительных вопросов. Это 2-3 дня.
>