это уже почти FAQ:
> Нам также было бы интересно участвовать в дорожке контекстно-зависимого
> аннотирования, но несколько непонятен ее статус.
> В прошлом году все системы (в дорожке контекстно-зависимого аннотирования)
> показали практически одинаковые результаты. Изменится ли методика
> тестирования в этом году? Каковы будут условия проведения дорожки?
> На сайте семинара выложено прошлогоднее описание.
к сожалению нам пока не очень понятно как лучше изменить методику,
к счастью у нас (не только у оргкомитета)
еще есть время обсудить и принять решение.
Постановка задачи для систем участников кажется близка
к реальной жизни (или нет?), но вот разрешающую способность
процедуры оценки надо как-то менять.
Одна из обсуждавшихся идей - после первичной проверки показывать асессору
список доступных аннотаций (уникальных) и просить выбрать 3 лучших.
Это даст какую-то дополнительную оценку.
Мы планировали в ближайшее время поковыряться в резульатах прошлого года и
посмотреть что можно поменять для увеличения различающей способности метода
оценки.
Если у вас есть идеи как и что можно сделать - не молчите
-igor