Page 1 of 1

PostPosted: Thu Jul 31, 2003 2:38 pm
by neigor
Поскольку теперь у нас есть основные цифры, то можно
говорить более предметно. Вот что получается:

1) поиск
50 запросов => ~10000 пар документ-запрос для оценки
=> ~160 человеко/часов (1 оценка на пару)
=> ~25 человека/часов для участника с 1 прогоном
(~50 для участника с 3 прогонами)
(поскольку прогоны от одного участника сильно пересекаются,
то каждый прогон сверх первого счиатется при разделении затрат
за 0.5 прогона. Итого для поиска взвешенное число прогонов 7)

для того чтобы оценивать надежность оценок их надо дублировать.

Собирать для каждой пары 3 оценки наверное все-таки слишком дорого,
поэтому мы предлагает собирать по две. Вместе с частичным несовпадением
наборов данных между участниками это должно быть нормальным компромисом.

2) классификация
3000 пар сайт/документ (~15 категорий (включая несколько размером
выше среднего)
=> ~ 100 человека/часов (если 1 оценка)
=> ~25 человека/часов для участника с 1 прогоном

Тут также предлагается собирать по две дублирующие оценки.
Хотя может быть полезнее вместо дублирования
увеличить число оцениваемых категорий и оценить пару очень популярных ...

Стоимость человека/часа при делегировании оценки нам - ~4$
(в зависимости от объема делегированной работы возможно получится дешевле,
но точно не меньше 3$).

Планируемый срок завершения сбора оценок - первая неделя сентября,
так чтобы к 1 октября мы уже получили тексты и верстали сборник.

Пожалуйста, выскажете свои предпочтения по дублированию оценок и
уточните какой объем работы вы готовы выполнить самостоятельно,
а что хотите делегировать.

-igor

RE: [romip] раскладка по трудозатратам

PostPosted: Thu Jul 31, 2003 3:32 pm
by maxgubin
Добрый день!
> => ~25 человека/часов для участника с 1 прогоном
> Стоимость человека/часа при делегировании оценки нам - ~4$

Это означает, что если я дал один прогон получается 100$?
Можно нести деньги? :)

Максим

RE: [romip] раскладка по трудозатратам

PostPosted: Thu Jul 31, 2003 3:51 pm
by neigor
это составляющая шага оценки при условии сбора 1 оценки на запрос.
С предлагаемым дублированием в 2 оценки будет 200$.

Про печать трудов у меня пока нет полной информации - поэтому итоговые цифры
сказать сейчас я не могу.

-igor

p.s.
Ну конечно, если есть желание отдать больше денег, то спонсоры всегда
приветствуются ;)

RE: [romip] раскладка по трудозатратам

PostPosted: Thu Jul 31, 2003 6:01 pm
by neigor
> > поэтому мы предлагает собирать по две. Вместе с
> > частичным несовпадением
> > наборов данных между участниками это должно быть
> > нормальным компромисом.
>
> О каком несовпадении наборов данных идет речь? Между участниками или
оценщиками?

оценщиками конечно, прошу прощения

идея в том, что никто не будет видеть весь пул для любого задания, а
скажем только его 70%. Таким образом 3 оценщика будут оценивать 1
задание и мы получим по две оценки, но с частичными перекрытиями.
Более того, одинаковые наборы заданий оценщики тоже получать не будут.
По такой неполной информации можно пытаться выявлять где слабое звено.

> отклонялся от выбранного курса. Времени нет так уж много.
>
> > Планируемый срок завершения сбора оценок - первая неделя сентября,
> > так чтобы к 1 октября мы уже получили тексты и верстали сборник.
>
> Когда планируется распространение ПО/скриптов для расчета метрик? Знать
> свои результаты не мешало бы при написании доклада.
>

:)

если мы справимся с техническими проблемами - то в начале следующей недели.

-igor