статус дорожек

(read only)

статус дорожек

Postby neigor » Sat May 27, 2006 11:59 pm

Добрый день,

на сегодняшний день все участники по идее должны
были уже получить все необходимые коллекции.
(если у вас еще чего-то нет, то самое время озаботится получением :)

График сдачи результатов опубликован
http://romip.narod.ru/ru/2006/schedule.html

Участникам были разосланы задания для следующих дорожек:

# классическая задача поиска по запросу
* по коллекции нормативно-правовых документов
* по Веб-коллекции
* по смешанной коллекции
# тематическая классификация
* нормативно-правовых документов
* Веб-сайтов
* Веб-страниц

Дорожки
# фактографический поиск по новостной коллекции
# кластеризация новостного потока
не требуют дополнительных входных метериалов кроме коллекции.

Задания для
# контекстно-зависимое аннотирование текстовых документов
# поиск похожих документов по документу образцу или фрагменту текста
пока задерживаются в силу разных организационно-технических причин,
но скоро будут разосланы.

Для дорожки "вопросно-ответный поиск" мы ждем вариантов вопросов от
участников дорожки чтобы сформировать набор заданий для выполнения.

Форматы ответов и правила дорожек во многом похожи на прошлогодние.
К сожалению на данный момент на сайте форматы выложены не для всех дорожек,
но я надеюсь это будет исправлено в ближайшее время.

Хотя задания вообщем-то четко определены уже для всех дорожек,
необходимо согласовать методику оценки для следующих дорожек:
# фактографический поиск по новостной коллекции
- оцениваем ли мы в два этапа как пытались в прошлом году?
- полноту выделения из документов или полноту досье?
- если досье, то как мы согласовываем разные варианты названий сущности?
# кластеризация новостного потока
- полное или почти полное структурирование вручную или
один из других вариантов обсуждавшихся в прошлом году?
# контекстно-зависимое аннотирование текстовых документов
- как повысить качество оценки (чтобы результаты систем
различались в итоговых оценках)
# вопросно-ответный поиск
- пытаться оценивать автоматически по шаблонам ответов или
все-таки проверять каждый ответ руками?
Прошу участников дорожек инициировать обсуждение, чтобы мы могли подготовить
инструменты для оценки в срок.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Return to Объявления Оргкомитета

Who is online

Users browsing this forum: No registered users and 8 guests

cron