Дорожка по аннотированию - web, legal или mixed?

[neigor]

По каким запросам мы хотим проверять качество аннотирования?

Обсуждалось web и legal, но решения принято не было.

Мы склонны выдать задание на основе результатов прошлогодней оценки
обеих дорожек. А потом решить что и как реально будет оцениваться
(естественно это будет подмножество).

Есть ли возражения?

-igor

p.s.
Будем ли делать расширение задания на основе пулов от этого цикла
- вопрос открытый, посмотрим сможем ли получить результаты по
adhoc вовремя и будут ли готовы участники этой дорожки выполнить
дополнительное задание быстро.

[maxgubin]

>Мы склонны выдать задание на основе результатов прошлогодней оценки
>обеих дорожек. А потом решить что и как реально будет оцениваться
> (естественно это будет подмножество).

>Есть ли возражения?

Конечно нет, кроме вопроса сможем ли мы достаточно быстро адаптировать
систему для web коллекции. Я думаю, что, в крайнем случае, можно сделать не
все запросы и оцениваться по ним.

Максим

[pb]

Я думаю, лучше WEB - нет тематической привязки, более-менее равные
условия.

ПБ

[neigor]

Мы решили сделать mixed, потому что:
- кто-то лучше готов к Веб, кто-то в legal
- оценку можно сделать не только в среднем по всем,
но также и подзачеты по legal/web
Какое подмножество и как оцениваем, можно зафиксировать позже.

>Конечно нет, кроме вопроса сможем ли мы достаточно быстро адаптировать
>систему для web коллекции. Я думаю, что, в крайнем случае, можно сделать не
>все запросы и оцениваться по ним.

лучше сдать все ответы, несмотря на то насколько хорошо получится по Веб.
На основе подзачетов по legal/web будет виден порядок разницы в качестве.
Да и что "в среднем" получится интересно, те кто ориентирован только на Веб
вполне вероятно будут не так успешны в legal

-igor