методика проведения дорожки по аннотированию

методика проведения дорожки по аннотированию

Postby neigor » Mon Apr 03, 2006 10:16 pm

Добрый день,

это уже почти FAQ:

> Нам также было бы интересно участвовать в дорожке контекстно-зависимого
> аннотирования, но несколько непонятен ее статус.

> В прошлом году все системы (в дорожке контекстно-зависимого аннотирования)
> показали практически одинаковые результаты. Изменится ли методика
> тестирования в этом году? Каковы будут условия проведения дорожки?
> На сайте семинара выложено прошлогоднее описание.

к сожалению нам пока не очень понятно как лучше изменить методику,
к счастью у нас (не только у оргкомитета)
еще есть время обсудить и принять решение.

Постановка задачи для систем участников кажется близка
к реальной жизни (или нет?), но вот разрешающую способность
процедуры оценки надо как-то менять.

Одна из обсуждавшихся идей - после первичной проверки показывать асессору
список доступных аннотаций (уникальных) и просить выбрать 3 лучших.
Это даст какую-то дополнительную оценку.

Мы планировали в ближайшее время поковыряться в резульатах прошлого года и
посмотреть что можно поменять для увеличения различающей способности метода
оценки.

Если у вас есть идеи как и что можно сделать - не молчите :)

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Return to Контекстно-зависимое аннотирование текстовых документов

Who is online

Users browsing this forum: No registered users and 2 guests

cron